推荐 序 一 


在 全 球 “互联 网 十 ”的 大 背景 下 ， 互 联网 创业 企业 的 数量 如 雨后春笋 般 大 量 产生 并 得 到 了 快速 发 展 ! 对 “互联 网 十 ”最 有 力 的 支撑 就 是 Linux 运 维 架构 师 、 云 计算 和 大 数据 工程 师 ， 以 及 自动 化 开发 工程 
师 等 ! 


但 是 ， 随 着 计算 机 技术 的 发 展 ， 企 业 对 Linux 运 维 人 员 的 能 力 要 求 越 来 越 高 ， 这 就 使 得 很 多 想 入 门 运 维 的 新 手 不 知 所 措 ， 望 而 却步 ， 甚 至 努力 了 很 久 却 仍然 徘徊 在 运 维 岗 位 的 边缘 ; 而 有 些 已 经 工作 了 的 
运 维 人 员 也 往往 是 疲于奔命 ， 没 有 时 间 和 精力 去 学 习 企业 所 需 的 新 知识 和 新 技能 ， 从 而 使 得 个 人 的 职业 发 展 前 景 大 大 受 限 。 


本 书 就 是 在 这 样 的 背景 下 诞生 并 致力 于 为 上 述 问 题 提 供 解决 方案 的 ， 本 书 是 作者 余 洪 春 先生 10 多 年 来 一 线 工 作 经 验 的 “再 ”结晶 ， 此 前 作者 已 经 出 版 过 Linux 集 群 方向 的 图 书 〈《 构 建 高 可 用 Linux 服 务 
器 》) ， 本 次 出 版 的 书 是 作者 对 运 维 行 业 的 再 回馈 。 


书 中 不 仅 涵 盖 了 入 门 运 维 人 员 必须 了 解 的 IDC 和 CDN 服 务 的 选 型 、Linux 系 统 及 常见 服务 的 优化 实践 内 容 ， 还 有 对 于 企业 运 维 人 员 需 要 的 大 规模 集群 场景 下 必 备 的 运 维 自动 化 Shell 和 Python 企业 开发 应 用 
实践 案例 、 热 门 的 自动 化 运 维 工具 的 企业 应 用 实践 、 大 规模 集群 及 高 可 用 的 企业 案例 分 享 与 安全 防护 等 。 


本 书 能 够 帮助 运 维 人 员 掌 握 业 内 运 维 实战 专家 的 网 站 集群 的 企业 级 应 用 经 验 的 精 鸯 ， 从 而 以 较 高 的 标准 胜任 各 类 企业 运 维 的 工作 岗位 ， 并 提升 自己 的 运 维 职业 发 展 竞争 力 ， 值 得 一 读 ! 
一 老 男孩 老 男孩 Linux 实 战 运 维 培训 中 心 总 裁 


《 跟 老 男孩 学 Linux 运 维 : Web 集 群 实战 》 作 者 


推荐 序 二 


本 书 作 者 余 洪 春 先生 和 我 相识 于 ChinaUnix 举 办 的 一 次 技术 交流 活动 一 一 “ 千 万 级 PV 高 性 能 高 并 发 网 站 架构 与 设计 交流 ”， 当 时 他 已 经 在 宣传 自己 的 第 一 本 著作 一 一 《构建 高 可 用 Linux 服 务 器 》， 该 书 凝 
聚 并 整合 了 他 多 年 来 在 一 线 工 作 的 经 验 结晶 ， 以 至 时 至 今日 ， 该 书 仍 是 一 本 在 国内 非常 经 典 的 运 维 原创 著作 ， 现 在 已 经 更 新 到 第 三 版 ， 这 种 对 技术 不 断 进 行 完善 的 坚持 及 工匠 精神 让 我 深 深 折 服 。 这 次 能 受 
邀 为 他 的 新 书 《Linux 集 群 和 自动 化 运 维 》 写 推荐 序 ， 让 我 倍 感 荣幸 。 


本 书 和 覆盖 了 Linux 集 群 服务 的 核心 技术 ， 同 时 还 介绍 了 基于 Python 语言 构建 的 主流 自动 化 运 维 工 具 ， 包 括 Python 脚本 、Fabric、Ansible 等 ， 这 些 都 是 DevOPs 工 具 元 素 周 期 表 中 最 闪 亮 的 内 容 ， 也 是 运 维 人 
员 必 备 的 技能 。 本 书 中 分 享 的 案例 是 余 洪 春 多 年 实战 经 验 的 精华 ， 具 有 非常 高 的 参考 价值 及 借鉴 意义 。 


书 中 内 容 从 互联 网 业务 平台 构建 及 自动 运 维 的 场景 出 发 ， 以 常见 的 业务 服务 为 基础 ， 给 出 了 大 量 的 实战 案例 ， 这 些 都 是 作者 在 十 余年 的 互联 网 运 维 工 作 中 总 结 出 来 的 宝贵 经 验 ， 相 信 会 给 读者 带 来 不 少 
启发 及 思考 。 


更 难能可贵 的 是 ， 作 者 能 从 通俗 易 懂 的 角度 出 发 ， 由 浅 入 深 地 剖析 自动 运 维 管理 之 道 。 对 于 不 同 水 平 层次 的 读者 来 说 ， 都 能 有 效 地 阅读 和 吸收 ， 也 能 根据 实际 需要 各 取 所 需 。 


最 后 ， 感 谢 余 洪 春 给 中 国 互联 网 从 业者 带 来 这 么 好 的 图 书 ， 我 相信 阅读 本 书 的 每 一 位 读者 都 能 从 中 获取 提升 的 能 量 ， 为 企业 及 行业 做 出 自己 的 贡献 。 


腾讯 高 级 工程 师 刘 天 斯 


加 | 
串 


为 什么 要 写 这 本 书 


笔者 从 事 系 统 运 维和 网 站 架构 设计 的 工作 已 有 10 多 年 ， 现 在 在 一 家 外 企 担任 云 平台 架构 师 。 云 计算 是 现在 的 主流 技术 ， 未 来 也 有 很 好 的 发 展 趋势 ， 云 计算 的 流行 对 于 传统 的 运 维 知识 体系 来 说 ， 其 实 也 
造成 了 冲击 ， 有 很 多 读者 经 常 向 笔者 咨询 工作 中 的 困惑 ， 比 如 从 事 系统 运 维 工作 3~5 年 后 就 不 知道 该 如 何 继续 学 习 和 规划 自己 的 职业 生涯 了。 因此 笔者 想 通过 此 书 ， 跟 大 家 分 享 一 下 自己 的 工作 经 验 和 心得 
(包括 传统 运 维 和 云 平 台 运 维 工作 的 区 别 与 对 比 ) ， 以 期 解决 大 家 在 工作 中 的 困惑 。 本 书 提 供 了 大 量 项 目 实践 和 线 上 案例 ， 和 希望 能 让 大 家 迅速 了 解 Linux 运 维 人 员 的 工作 职责 ， 快 速 进入 工作 状态 并 找到 成 长 
方向 。 和 希望 大 家 通过 阅读 此 书 ， 能 够 掌握 Linux 系 统 集群 和 自动 化 运 维 及 网 站 架构 设计 的 精 顺 ， 从 而 能 够 轻松 愉快 地 工作 ， 并 提升 自己 的 职业 技能 ， 这 就 是 笔者 写作 此 书 的 初衷。 


运 维 架 构 师 之 路 


在 成 为 运 维 架构 师 之 前 ， 笔 者 从 事 过 很 长 一 段 时 间 的 系统 集成 、 运 维和 管理 工作 ， 在 CDN 门 户 网 站 、 电 子 广告 、 电 子 商 务 领 域 也 有 不 少 的 沉淀 和 积累 ， 在 之 前 的 《构建 高 可 用 Linux 服 务 器 》 一 书 中 已 经 
跟 大 家 分 享 了 很 多 跟 Linux 集 群 有 关 的 知识 。 笔 者 目前 的 主要 工作 职责 是 维护 和 优化 公司 的 DSP 电 子 广 告 业务 平台 ， 主 要 方向 是 云 计算 和 大 数据 方面 。 需 要 维护 的 数据 中 心 和 机 器 数量 非常 之 多 ， 所 以 自动 化 
运 维和 DevOps 是 目前 的 主要 工作 方向 ， 此 外 ， 也 会 涉及 网 站 架构 设计 及 调 优 工作 ， 因 此 在 此 书 中 特意 将 这 部 分 工作 经 验 分 享 出 来 ,希望 大 家 能 从 中 学 到 新 的 知识 体系 ， 借 以 提升 自己 的 职业 技能 。 


读者 对 象 
本 书 适合 以 下 读者 阅读 。 
“ 中 高 级 系统 管理 员 
“ 系统 架构 设计 师 
“ 高 级 程序 开发 人 员 
' 运 维 开发 工程 师 


如 何 阅读 本 书 


本 书 是 笔者 对 实际 工作 中 积累 的 技术 和 经 验 所 做 的 总 结 ， 涉 及 大 量 的 知识 点 和 专业 术语 。 全 书 总 共 分 为 三 大 部 分 ， 第 一 部 分 包含 第 1 章 和 第 2 章 ， 主 要 讲解 进行 系统 架构 设计 的 软 硬 件 环境 ， 以 及 生产 环 
境 下 的 Shell 脚 本 和 Python 脚本 。 其 中 ， 第 2 章 的 内 容 是 以 Shell 为 主 ，Python 为 辅 ，Shell 部 分 讲 得 比较 详细 ，Python 部 分 需要 重点 关注 的 地 方 也 有 所 提 及 。 之 所 以 这 样 安排 ， 主 要 是 考虑 到 大 多 数 搞 开 发 的 读者 
或 DevOps 工 程 师 都 是 Java 程 序 员 出 身 ， 对 Shell 脚 本 语言 不 是 很 熟悉 。 第 二 部 分 包含 第 3 章 、 第 4 章 和 第 5 章 ， 主 要 讲 自动 化 运 维 ， 包 括 Fabric、Ansibel 和 Puppet 三 大 工具 ， 大 家 可 以 结合 自己 的 实际 环境 来 选择 对 
应 的 工具 。 第 三 部 分 包含 第 6 章 、 第 7 章 和 第 8 章 ， 主 要 讲 的 是 Linux 集 群 和 网 站 架构 设计 ， 特 别 是 第 8 章 ， 分别 以 百 万 PV、 千 万 PV 及 亿 级 PV 的 网 站 为 例 来 详细 说 明 网 站 系统 架构 设计 的 相关 技术 ， 然 后 细 分 五 
层 来 解说 网 站 的 架构 ， 并 指出 了 设计 网 站 的 压力 及 关注 点 所 在 。 


大 家 可 以 根据 自己 的 职业 发 展 和 工作 需求 来 选择 不 同 的 章节 进行 阅读 或 学 习 。 

关于 本 书 中 的 配置 文件 、Shell 脚 本 和 Python 脚本 的 编号 ， 这 里 也 略 作 说 明 ， 比 如 1.5.3 节 中 有 1.sh， 表 示 这 是 1.5.3 节 的 第 一 个 Shell 脚 本 ; 如 果 是 2.py， 则 表示 是 1.5.3 节 的 第 二 个 Python 脚本 ; 其 他 依 此 类 
推 ， 在 哪个 章节 中 出 现 的 配置 文件 或 脚本 就 在 哪个 章节 中 寻找 ， 这 样 对 照 起 来 阅读 理解 会 比较 方便 。 此 外 ， 书 中 多 次 出 现 的 Nginx 配 置 文件 nginx.conf 也 在 对 应 的 章节 里 。 本 书 相关 的 GitHub 地 址 
为 http://github.com/yuhongchun/automation。 
勘误 

尽管 笔者 花费 了 大 量 的 时 间 和 精力 来 核对 文件 和 语法 ， 但 书 中 难免 还 会 存在 一 些 错误 和 丝 漏 ， 如 果 大 家 发 现 有 任何 问题 ， 都 请 及 时 反馈 给 我 ， 相 关 信 息 可 以 发 到 个 人 邮箱 yuhongchun027@gmailcom。 尽 
管 无 法 保证 对 于 每 一 个 问题 都 会 有 一 个 正确 答案 ,但 我 肯定 会 努力 回答 并 且 指 出 一 个 正确 的 方向 。 
致谢 

感谢 爱 女 媛 媛 的 出 生 ， 你 的 降临 是 上 天 赐 给 我 的 最 好 礼物 ， 是 我 进行 写作 的 源泉 和 动力 。 

感谢 我 的 家 人 ， 他 们 在 生活 上 对 我 的 照顾 无 微 不 至 ， 让 我 有 更 多 的 精力 和 动力 去 工作 和 创作 。 

感谢 好 友 三 宝 这 么 多 年 来 对 我 的 信任 和 支持 ， 从 始 至 终 一 直 都 在 支持 和 信任 我 。 

感谢 机 械 工业 出 版 社 华章 公司 的 编辑 杨 福 川 和 杨 绣 国 ， 在 你 们 的 信任 、 支 持 和 帮助 下 ， 我 才能 如 此 顺利 地 完成 全 部 书稿 。 


感谢 好 友 老 男孩 和 刘 天 斯 ， 闲 暇 之 余 和 你 们 一 起 交流 开源 技术 和 发 展 趋势 ， 也 是 一 种 享受 。 


Linus Torvalds， 他 不 仅 创 造 了 Linux 系 统 ， 而 且 还 创造 了 Git 这 么 神奇 的 版 本 管理 软件 。 


感谢 Linux 之 父 
余 洪 春 〈 抚 琴 老 酒 ) 


中 国 ， 武 汉 


第 1 章 ”系统 架构 设计 的 构建 基础 


作为 一 名 系统 架构 设计 师 ， 会 面临 着 很 多 系统 方面 的 架构 设计 工作 ， 比 如 电子 商务 系统 、CDN (内 容 分 发 网 络 ) 大 型 电子 广告 平台 和 DSP 电 子 广告 系统 的 运 维 方案 确定 及 平台 架构 设计 等 ， 此 外 ， 还 会 
涉及 核心 业务 的 系统 在 线 优化 及 升级 等 工作 。 在 以 上 这 些 工作 中 ， 又 将 包括 多 项 选择 : 比如 是 考虑 自 建 CDN， 还 是 租赁 CDN 系 统 ; 公司 的 业务 系统 所 在 的 机 房 是 考虑 自 建 机 房 、 托 管 机 房 ， 还 是 云 计 算 平 
台 ， 而 如 果 选 择 托管 机 房 ， 又 会 有 更 多 的 细节 需要 考虑 ， 比 如 是 选择 电信 机 房 、 双 线 机 房 还 是 BGP 机 房 ， 服 务 器 应 该 如 何 选 型 ， 选 择 哪 种 操作 系统 等 ， 这 个 时 候 系统 架构 设计 师 的 经 验 和 作用 就 体现 出 来 


了 。 他 们 应 该 在 系统 网 站 实施 的 初期 就 做 好 项 目的 成 本 预算 和 风险 规避 ， 并 对 系统 的 高 可 用 及 扩展 性 进行 细致 权衡 ， 这 些 也 是 其 工作 职责 所 在 。 当 然 ， 在 了 解 上 述 这 些 之 前 ， 首 先 应 该 了 解 一 些 网 站 架构 设 
计 相 关 的 专业 术语 ， 下 面 就 一 起 来 看 看 。 


1.1 ”网 站 架构 设计 相关 术语 
1.1.1 什么 是 HTTP 1.1 


HTTP 1.1 (Hypertext Transfer Protocol Version 1.1) ， 即 超 文 本 传输 协议 -版 本 1.1， 跟 版 本 1.0 是 有 区 别 的 。 


针对 HTTP 1.0 中 TCP 连 接 不 能 重复 利用 的 情况 ，HTTP1.1 采 用 了 效率 更 高 的 持续 连接 机 制 ， 即 客户 端 和 服务 器 建立 TCP 连 接 以 后 ， 后 续 相关 联 的 HTTP 请 求 可 以 重复 利用 已 经 建立 起 来 的 TCP 连 接 。 


HTTP 1.1 是 用 来 在 Internet 上 传送 超 文 本 的 传送 协议 。 它 是 运行 在 TCP/IP 协 议 族 之 上 的 HTTP 应 用 协议 ， 它 可 以 使 浏览 器 更 加 高 效 ， 并 减少 网 络 传输 。 任 何 服务 器 除了 包括 HTML 文 件 以 外 ， 都 还 有 一 个 
HTTP 驻 留 程序 ， 用 于 响应 用 户 请 求 。 如 果 浏 览 器 是 HTTP 客 户 ， 在 向 服务 器 发 送 请 求 时 ， 向 浏览 器 中 输入 一 个 开始 文件 或 点 击 一 个 超级 链接 ， 浏 览 器 就 向 服务 器 发 送 HTTP 请 求 ， 此 请 求 被 送 往 由 URL 指 定 的 
IP 地 址 。 驻 留 程序 接收 到 请 求 ， 在 进行 必要 的 操作 后 就 会 回 送 所 要 求 的 文件 。 


HTTP 1.1 支 持 持续 连接 。 通 过 这 种 连接 ， 就 有 可 能 在 建立 一 个 TCP 连 接 后 ， 发 送 请 求 并 得 到 回应 ， 然 后 发 送 更 多 的 请 求 并 得 到 更 多 的 回应 。 由 于 把 建立 和 释放 TCP 连 接 的 开销 分 挫 到 了 多 个 请 求 上 ， 
此 对 于 每 个 请 求 而 言 ， 由 于 TCP 连 接 而 造成 的 相对 开销 就 被 大 大 地 降低 了 。 而 且 ， 还 可 以 发 送 流 水 线 请 求 ， 也 就 是 说 在 发 送 请 求 1 的 回应 到 来 之 前 就 发 送 请 求 2。 也 可 以 认为 ， 一 次 连接 发 送 多 个 请 求 ， 由 客 
户 机 确认 是 否 关闭 连接 ， 而 服务 器 会 认为 这 些 请 求 分 别 来 自 于 不 同 的 请 求 。 


1.2 1DC 机 房 的 选择 及 CDN 的 选 型 


如 果 自 己 的 业务 网 站 中 含有 大 量 的 图 片 和 视频 类 文件 ， 为 了 加 快 客户 端的 访问 速度 ， 同 时 为 了 减缓 对 真正 的 核心 机 房 的 服务 压力 ， 并 且 提 升 用 户 体验 ， 建 议 在 前 端 最 好 采用 CDN 缓 存 加 速 方案 。 


CDN (Content Delivery Network) ， 即 内 容 分 发 网 络 。 其 目的 是 通过 在 现 有 的 Internet 中 增加 一 层 新 的 网 络 架构 ， 将 网 站 的 内 容 发 布 到 最 接近 用 户 的 网 络 “边缘 "， 使 用 户 可 以 就 近 取 得 所 需 的 内 
容 ， 提 高 用 户 访问 网 站 的 响应 速度 。CDN 缓 存 加 速 方案 一 般 有 如 下 几 种 方式 。 


“ 租赁 CDN: 中 小 型 网 站 直接 购买 服务 就 好 ， 现 在 CDN 已 经 进入 按 需 付费 的 云 计 算 模 式 了 ， 性 价 比 是 可 以 准确 计算 的 。 


“ 自 建 CDN: 这 种 方案 的 成 本 就 有 点 大 了 ， 为 了 保证 良好 的 缓存 效果 ， 必 须 在 全 国 机 房 布点 ， 还 要 自 建 智能 Bind 系 统 ， 搭 建 大 型 网 站 时 推荐 采用 此 种 方案 ， 专 业 的 视频 网 站 或 图 片 网 站 一 般 会 考虑 采用 
此 种 方案 。 


1DC 机 房 的 选择 一 般 也 有 几 种 类 型 。 


: 单 电信 IDC 机 房 : 这 种 类 型 一 般 业 务 模式 比较 国定 ， 访 问 量 也 不 是 很 大 ， 适 合 新 闻 类 网 站 或 政务 类 网 站 。 如 果 网 站 的 PV 流 量 持续 增加 的 话 ， 则 建议 后 期 采用 租赁 CDN 的 方式 解决 非 电信 用 户 访问 网 站 
速度 过 慢 的 问题 。 


“ 双 线 IDC 机 房 : 由 于 国内 两 大 网 络 (电信 和 网 通 ) 之 间 存 在 互联 互通 的 问题 ， 导 致电 信用 户 访问 网 通 网 站 或 网 通用 户 访问 电信 网 站 速度 很 慢 ， 因 此 就 产生 了 双 线 机 房 、 双 线 服务 器 、 双 线 服务 器 托管 
和 双 线 服务 器 租用 服务 。 双 线 机 房 实 际 是 一 个 机 房 有 电信 和 网 通 两 条 线路 。 双 线 机 房 通过 内 部 路 由 器 设置 ， 以 及 BGP 自 动 路 由 的 分 析 ， 可 实现 电信 用 户 访问 电信 线路 ， 网 通用 户 访问 网 通 线路 ， 这 样 就 可 实 
现 电信 网 通 的 快速 访问 。 


: BGP 机 房 : BGP (边界 网 关 协 议 ) 是 用 来 连接 Internet 独 立 系统 的 路 由 选择 协议 。 它 是 Internet 工 程 任务 组 制定 的 一 个 加 强 的 、 完 善 的 、 可 伸缩 的 协议 。BGP4 支 持 CIDR 寻 址 方案 ， 该 方案 增加 了 Internet 
上 的 可 用 IP 地 址 数量 。BGP 是 为 取代 最 初 的 外 部 网 关 协 议 EGP 而 设计 的 。 它 也 被 认为 是 一 个 路 径 矢 量 协议 。 采 用 BGP 方 案 来 实现 双 线 路 互联 或 多 线路 互联 的 机 房 ， 则 称 为 BGP 机 房 。 对 于 用 户 来 说 ， 选 择 
BGP 机 房 可 以 实现 网 站 在 各 运营 商 线路 之 间 互 联 互通 ， 使 得 所 有 互联 运营 商 的 用 户 访问 网 站 都 很 快 ， 且 更 加 稳定 ， 不 用 担心 全 国 各 地 因 线 路 问题 带 来 的 访问 速度 快慢 不 一 的 问题 ， 这 也 是 传统 双 IP 双 线 机 房 
无 法 相 比 的 优势 。 在 条 件 允 许 的 情况 下 ， 服 务 器 的 租用 和 托管 可 以 尽量 选择 BGP 机 房 ， 因 为 会 带 给 用 户 最 优 的 访问 体验 。 


现在 云 计算 服务 也 非常 流行 ， 目 前 首 推 的 就 是 亚马逊 云 (AWS) 和 阿里 云 。 


对 于 我 们 来 阅 ， 云 计算 服务 提供 的 产品 能 让 我 们 的 研究 发 团队 专注 于 产品 开发 本 身 ， 而 不 是 购买 、 配 置 和 维护 硬件 等 繁杂 的 工作 ， 还 可 以 减少 初始 资金 的 投入 。 我 们 主要 采用 亚马逊 云 的 EC2/EBS/S3 服 
务 ， 其 实 Amazon EC2 主 机 提供 了 多 种 适用 于 不 同 使 用 案例 的 实例 类 型 以 供 选择 。 实 例 类 型 由 CPU、 内 存 、 存 储 和 网 络 容量 组 成 了 不 同 的 组 合 ， 可 让 我 们 灵活 地 为 其 选择 适当 的 资源 组 合 。 


云 计算 特别 适合 两 类 网 站 : 在 某 些 日 期 或 某 些 时 间 段 流量 会 激增 的 网 站 ， 比 如 竞标 业务 机 器 ， 用 户 会 集中 在 某 些 时 段 进行 竞价 ， 因 此 在 这 些 时 间 段 使 用 的 Instance 数 量 可 能 是 白天 的 几 倍 甚 至 几 十 倍 。 
也 就 是 说 ， 此 时 段 内 瞬间 可 能 要 开启 很 多 实例 处 理 ， 处 理 完毕 后 立刻 终止 。EC2 Instance 是 可 以 按照 运行 的 小 时 数 来 进行 收费 的 。 像 笔者 公司 的 线 上 系统 ， 经 常 运行 着 很 多 特殊 业务 的 Spot Instancel1]， 以 
小 时 计 费 ， 完 成 任务 后 立即 终止 。 


[由 Spot Instance: 使 用 竟 标 的 方式 来 获得 便宜 的 Instance， 一 般 是 在 需要 大 量 、 便 宜 、 短 时 间 使 用 的 需求 时 才 会 使 用 。 


1.3 ”如 何 根据 服务 器 应 用 选 购 服务 器 


无 论 物理 服务 器 是 选用 IDC 托 管 还 是 AWS EC2 云 主机 (以 下 为 了 简略 说 明 ， 将 它们 统称 为 服务 器 ) ， 我 们 都 要 面临 一 个 问题 ， 那 就 是 选择 服务 器 的 硬件 配置 ， 选 购 硬件 配置 时 要 根据 服务 器 的 应 用 需求 
而 定 。 因 为 只 通过 一 台 服 务 器 是 无 法 满足 所 有 的 需求 ， 并 解决 所 有 的 问题 的 。 在 设计 网 站 的 系统 架构 之 前 ， 应 该 从 以 下 方面 考虑 如 何 选 购 服务 器 : 


“ 服务 器 要 运行 什么 应 用 。 


“ 需要 支持 多 少 用 户 访问 。 


“ 需要 多 大 空间 来 存储 数据 。 


“ 业务 有 多 重要 。 


“ 服务 器 网 卡 方面 的 考虑 。 


“ 安全 方面 的 考虑 。 


“ 机 架 安 排 是 否 合理 化 。 


“ 服务 器 的 价格 是 否 超出 了 预算 。 


1. 服 务 器 运行 什么 应 用 


这 是 选 购 服务 器 时 首先 需要 考虑 的 问题 ， 通 常 是 根据 服务 器 的 应 用 类 型 (也 就 是 用 途 ) ， 来 决定 服务 器 的 性 能 、 容 量 和 可 靠 性 需求 。 下 面 将 按照 负载 均衡 、 缓 存 服务 器 、 前 端 服务 器 、 应 用 程序 服务 
器 、 数 据 服务 器 和 Hadoop 分 布 式 计算 的 常见 基础 架构 来 讨论 。 


:负载 均衡 端 : 除了 网 卡 性 能 以 外 ， 其 他 方面 对 服务 器 的 要 求 比较 低 ， 如 果 选 用 的 是 LVS 负 载 均衡 方案 ， 那 么 它 会 直接 将 所 有 的 连接 要 求 都 转 给 后 端的 Web 应 用 服务 器 ， 因 此 建议 选用 万 兆 网 卡 。 如 果 选 
用 的 是 HAProxy 负 载 均衡 器 ， 由 于 它 的 运行 机 制 跟 LVS 不 一 样 ， 流 量 必须 双向 经 过 HAProxy 机 器 本 身 ， 因 此 对 CPU 的 运行 能 力 会 有 要 求 ， 也 建议 选用 万 兆 网 卡 。 如 果 选 用 的 是 AWS EC2 机 器 ， 则 推荐 使 用 
m3.xlarge 实 例 类 型 (m3 类 型 提供 计算 、 内 存 和 网 络 资源 的 平衡 ， 因 此 是 很 多 应 用 程序 的 良好 选择 ) 。 另 外 ，AWS 官 方 也 推出 了 负载 均衡 服务 产品 ， 即 Elastic Load Balancing， 它 具有 DNS 故障 转移 和 Auto 
Scalling 的 功能 。 


“ 缓存 服务 器 : 主要 是 Varnish 和 tedis， 对 CPU 及 其 他 方面 的 性 能 要 求 一 般 ， 但 在 内 存 方面 的 要 求 会 尽量 多 些 。 笔 者 曾 为 了 保证 预算 ， 在 双核 (13.large) 机 器 上 运行 了 4 个 redis 实 例 ，AWS 官 方 也 建议 将 此 
内 存 优 化 型 实例 应 用 于 高 性 能 数据 库 、 分 布 式 内 存 缓存 、 内 存 中 分 析 、 基 因 组 装配 和 分 析 ， 以 及 SAP、Microsoft SharePoint 和 其 他 企业 级 应 用 程序 的 较 大 部 署 。 


“ 应 用 服务 器 : 由 于 它 承担 了 计算 和 功能 实现 的 重任 ， 因 此 需要 为 基于 Web 架 构 的 应 用 程序 服务 器 (Application Server) 选择 足够 快 的 服务 器 ， 另 外 应 用 程序 服务 器 可 能 需要 用 到 大 量 的 内 存 ， 尤 其 是 基 
于 Windows 基 础 架构 的 Ruby、Python、jJava 服 务 器 ， 这 一 类 服务 器 至 少 需 要 使 用 单 路 至 强 的 配置 笔者 公司 线 上 的 核心 业务 机 器 选用 的 AWS c3.xlarge 类 型 。 至 于 可 靠 性 问题 ， 如 果 你 的 架构 中 只 有 一 台 应 用 服 
务 器 ， 那 这 台 服 务 器 肯定 要 足够 可 靠 才 行 ，RAID 是 绝对 不 能 被 忽视 的 选项 。 但 如 果 有 多 台 应 用 服务 器 ， 并 设计 了 负载 均衡 机 制 ， 具 有 人 兄 余 功 能 ， 那 就 不 必 过 于 担心 了 。 


注意 


c3.xlarge EC2 主 机 属于 计算 优化 型 《Compute Optimized) ， 也 就 是 CPU 加 强 型 。 这 种 类 型 的 CPU/ 内 存 比 例 比较 大 ， 适 合 于 计算 密集 型 业务 ， 它 包含 cl 和 c3 系 列 。 其 实例 除了 较 旧 的 两 个 cl 系列 
(cl.medium 和 cl.xlarge) 是 采用 普通 磁盘 作为 实例 存储 以 外 ， 其 他 的 (也 就 是 c3 系 列 的 ) 全 部 都 以 SSD 作 为 实例 存储 ， 其 中 最 高 档次 的 c3.8xlarge (32 核 心 108 个 计算 单元 ) 的 网 络 性 能 明确 标注 为 10G 
bit/s，c3 系 列 被 认为 是 最 具 性 价 比 的 类 型 。 


“ 特殊 应 用 : 除了 用 于 Web 架 构 中 的 应 用 程序 之 外 ， 如 果 服 务 器 还 要 处 理 流 媒体 视频 编码 、 服 务 器 庶 拟 化 、 媒 体 服 务 器 ， 或 者 作为 游戏 服务 器 (逻辑 、 地 图 、 聊 天 ) 运行 ， 那 么 对 CPU 和 内 存 的 需求 同 
样 会 比较 高 ， 至 少 要 考虑 四 核 以 上 的 服务 器 。 


: 公共 服务 : 这 里 指 的 是 邮件 服务 器 、 文 件 服务 器 、DNS 服 务 器 、 域 控 服务 器 等 。 通 常会 部 署 两 台 DNS 服 务 器 以 互相 备份 ， 域 控 主 服务 器 也 会 拥有 一 台 备份 服务 器 (专用 的 或 非 专 用 的 ) ， 所 以 对 于 可 
靠 性 ， 无 须 过 于 苛刻 。 至 于 邮件 服务 器 ， 至 少 需要 具备 足够 的 硬件 可 靠 性 和 容量 大 小 ， 这 主要 是 对 邮件 数据 负责 ， 因 为 很 多 用 户 没有 保存 和 归档 邮件 数据 的 习惯 ， 待 其 重 装 系统 后 ， 就 会 习惯 性 地 到 服务 器 
上 重新 下 载 相应 的 数据 。 至 于 性 能 问题 ， 则 应 评估 用 户 数量 后 再 做 决定 。 另 外 ， 考 虑 到 它 的 重要 性 ， 建 议 尽量 选择 稳定 的 服务 器 系统 ， 比 如 Linux 或 BSD 系 列 。 


“ 数据 库 服务 器 : 数据 库 对 服务 器 的 要 求 也 是 最 高 、 最 重要 的 。 无 论 你 使 用 的 是 MySQL、SQL Server 还 是 Oracle， 一 般 情况 下 ， 都 需要 有 足够 快 的 CPU、 足 够 大 的 内 存 、 足 够 稳定 可 靠 的 硬件 。 可 直接 采 
用 DELL PowerEdge R710 或 HP 580G5，CPU 和 内 存 方面 也 要 尽 可 能 最 大 化 ， 如 果 预 算 充 分 ， 建 议 用 固态 硬盘 做 RAID 10， 因 为 数据 库 服务 器 对 硬盘 的 1/ 〇 要 求 是 最 高 的 。 


* Hadoop 分 布 式 计算 : 这 里 建议 选用 密集 存储 实例 一 一 D2 实例 ， 它 拥有 高 频率 Intel Xeon E5-2676v3 (Haswell) 处 理 器 、 高 达 48TB 的 本 地 存储 、 具 备 高 磁盘 吞吐 量 ， 并 支持 Amazon EC2 增 强 型 联网 。 它 
适合 于 大 规模 并 行 处 理 数据 仓库 、MapReduce 和 Hadoop 分 布 式 计算 、 分 布 式 文件 系统 、 网 络 文件 系统 、 日 志 或 数据 处 理 等 应 用 。 


更 多 关于 AWS EC2 的 实例 类 型 请 参考 : https://aws.amazon.com/cn/ec2/instance-types/。 


2. 服 务 器 需要 支持 多 少 用 户 访问 


服务 器 就 是 用 来 给 用 户 提供 某 种 服务 的 ， 所 以 使 用 这 些 服务 的 用 户 同样 是 我 们 必须 考虑 的 因素 ， 可 以 从 下 面 几 个 具体 的 方面 进行 评估 : 


“有 多 少 注册 用 户 。 


“ 正常 情况 下 有 多 少 用 户 会 同时 在 线 访问 。 


: 每 天 同时 在 线 访问 的 最 高 峰值 大 概 是 多 少 。 


一 般 在 项 目 实施 之 前 ， 客 户 方面 会 针对 这 些 问题 给 出 一 个 大 致 的 结果 ， 但 设计 要 尽量 更 充分 和 具体 ， 同时， 还 要 对 未 来 的 用 户 增长 做 一 个 尽 可 能 准确 的 预测 和 规划 ， 因 为 服务 器 可 能 会 支持 越 来 越 多 的 
户 ， 所 以 在 进行 网 站 或 系统 架构 设计 时 要 让 机 器 能 够 灵活 地 扩展 。 


3. 需 要 多 大 空间 来 存储 数据 


关于 这 个 问题 需要 从 两 个 方面 来 考虑 ， 一 方面 是 有 哪些 类 别 的 数据 ， 包 括 : 操作 系统 本 身 占用 的 空间 ， 安 装 应 用 程序 所 需要 的 空间 ， 应 用 程序 所 产生 的 数据 、 数 据 库 、 日 志文 件 、 邮 件数 据 等 ， 如 果 网 
站 是 Web 2.0 的 ， 还 要 计算 每 个 用 户 的 存储 空间 ; 另 一 方面 是 从 时 间 轴 上 来 考虑 ， 这 些 数据 每 天 都 在 增长 ， 至 少 要 为 未 来 两 三 年 的 数据 增长 做 个 准确 的 预算 ， 这 就 需要 软件 开发 人 员 和 业务 人 员 一 起 来 提供 
充分 的 信息 了 。 最 后 将 计算 出 来 的 结果 乘 上 1.5 左 右 的 系数 ， 以 方便 维护 的 时 候 做 各 种 数据 的 备份 和 文件 转移 操作 。 


4. 我 的 业务 有 多 重要 


这 需要 根据 自身 的 业务 领域 来 考虑 ， 下 面 举 几 个 简单 的 例子 ， 帮 助 大 家 了 解 这 些 服务 器 对 可 靠 性 、 数 据 完整 性 等 方面 的 要 求 : 


. 如 果 服 务 器 是 用 来 运行 一 个 WordPress 博 客 的 ， 那 么 ， 一 台 酷 害处 理 器 的 服务 器 、1GB 的 内 存 ， 外 加 一 块 160GB 的 硬盘 就 足够 了 (如 果 是 AWS EC2 主 机 ， 可 以 考虑 t2.micro 实 例 类 型 ) 。 就 算 服 务 器 出 现 
了 一 点 硬件 故障 ， 导 致 几 个 小 时 甚至 一 两 天 不 能 提供 访问 ， 生 活 也 会 照常 继续 。 


“ 如 果 服务 器 是 用 作 测 试 平台 的 ， 那 么 就 不 会 如 生产 环境 那样 对 可 靠 性 有 极 高 的 要 求 ， 所 需要 的 可 能 只 是 做 好 例 行 的 数据 备份 即 可 ， 若 服务 器 宕 机 ， 只 要 能 在 当天 把 问题 解决 掉 就 可 以 了 。 


“ 如 果 是 一 家 电子 商务 公司 的 服务 器 ， 运 行 着 电子 商务 网 站 平台 ， 当 硬件 发 生 故 障 而 导致 宕 机 时 ， 你 需要 对 以 下 “ 危 言 符 听 ”的 后 果 做 好 心理 准备 : 投诉 电话 被 打 爆 、 顾 客 大 量 流失 、 顾 客 要 求 退 款 、 
市 场 推广 费用 打 水 漂 、 员 工 无 事 可 干 、 公 司 运 营 陷 入 竣 痰 状态 、 数 据 丢 失 。 事 实 上 ， 电 子 商 务 网 站 一 般 是 需要 365X24 小 时 不 间断 运行 和 监控 的 ， 而 且 要 有 专人 轮流 值守 ， 并 且 要 有 足够 的 备份 设备 ， 每 天 还 
要 有 专人 负责 检查 。 


“ 如 果 是 大 型 广告 类 或 门户 类 网 站 ， 那 么 建议 选择 CDN 系 统 。 由 于 它 具 有 提高 网 站 响应 速度 、 负 载 均衡 、 有 效 抵御 DDoS 攻击 等 特点 ， 相 对 而 言 ， 每 个 节点 都 会 有 大 量 的 宛 余 。 


这 里 其 实 只 是 简单 地 讨论 下 业务 对 服务 器 硬件 可 靠 性 的 要 求 。 要 全 面 解决 这 个 问题 ， 不 能 只 考虑 单个 服务 器 的 硬件 ， 还 需要 结合 系统 架构 的 规划 设计 。 


在 回答 了 以 上 问题 后 ， 接 下 来 就 可 以 决定 下 面 这 些 具体 的 选项 了 。 


(1) 选择 什么 CPU 


回忆 一 下 上 面 关 于 “服务 器 运行 什么 应 用 ”和 “需要 支持 多 少 用 户 访问 ”两 个 方面 的 考虑 ， 这 将 帮助 我 们 选择 合适 的 CPU。 毫 无 疑问 ，CPU 的 主 频 越 高 ， 其 性 能 也 就 越 高 ; 两 个 CPU 要 比 一 个 CPU 来 得 
更 好 ; 至 强 (Xeon) 肯定 比 酷 睿 (Core) 的 性 能 更 强 。 但 究竟 怎样 的 CPU 才 是 最 合适 的 呢 ? 下面 提 供 了 一 些 常见 情况 下 的 建议 : 


“ 如 果 业 务 刚 刚 起 步 ， 预算 不 是 很 充足 ， 建 议 选择 一 款 经 典 的 酷 害 服 务 器 ， 这 可 以 帮 你 节约 大 量 的 成 本 。 而 且 ， 以 后 还 可 以 根据 业务 发 展 的 情况 ， 随 时 升级 到 更 高 配置 的 服务 器 。 


“ 如 果 需 要 在 一 台 服 务 器 上 同时 运行 多 种 应 用 服务 ,例如 基于 LNMP 架 构 的 Web 网 站 ， 那 么 一 个 单 核 至 强 ( 例 如 X3330) 或 新 一 代 的 酷 害 15 (双核 四 线程 ) 将 是 最 佳 的 选择 。 虽 然 从 技术 的 角度 来 说 ， 这 
并 不 是 一 个 好 主意 ,但 至 少 能 节约 一 大 笔 成 本 。 


“ 如 果 服 务 器 要 运行 MySQL 或 Oracle 数 据 库 ， 而 且 目 前 有 几 百 个 用 户 同 时 在 线 ， 未 来 还 会 不 断 增 长 ， 那 么 至 少 应 该 选择 安装 一 个 双 四 核 服务 器 。 
“ 如 果 需 要 的 是 Web 应 用 服务 器 ， 双 四 核 基本 就 可 以 满足 要 求 了 。 


(2) 需要 多 大 的 内 存 


同样 ，“ 服 务 器 运行 什么 应 用 ”和 “需要 支持 多 少 用 户 访问 ”两 方面 的 考虑 也 将 有 助 于 我 们 选择 合适 的 内 存 容量 。 相 比 于 CPU， 笔 者 认为 内 存 (RAM) 才 是 影响 性 能 的 最 关键 因素 。 因 为 在 很 多 正在 运 
行 的 服务 器 中 ，CPU 的 利用 率 一 般 都 在 10%~309% 之 间 ， 甚 至 更 低 。 但 由 于 内 存 容量 不 够 而 导致 服务 器 运行 缓慢 的 案例 比比 皆 是 ， 如 果 服 务 器 不 能 分 配 足 够 的 内 存 给 应 用 程序 ， 那 么 应 用 程序 就 需要 通过 硬 
盘 接 口 缓慢 地 交换 读 写 数 据 了 ， 这 将 导致 网 站 慢 得 令 人 无 法 接受 。 内 存 的 大 小 主要 取决 于 服务 器 的 用 户 数量 ， 当 然 也 和 应 用 软件 对 内 存 的 最 低 需求 和 内 存 管理 机 制 有 关 ， 所 以 ， 最 好 由 程序 员 或 软件 开发 商 
给 出 最 佳 的 内 存 配 置 建议 。 下 面 同样 给 出 了 一 些 常见 应 用 环境 下 的 内 存 配置 建议 : 


:无论 是 Apache 还 是 Nginx 服 务 器 ， 一 般 情 况 下 Web 前 端 服务 器 都 不 需要 配置 特别 高 的 内 存 ， 尤 其 是 在 集群 架构 中 ，4GB 的 内 存 就 已 经 足够 了 。 如 果 用 户 数量 持续 增加 ， 我 们 才 会 考虑 使 用 8GB 或 更 大 的 
内 存 。 单 Apache Web 机 器 ， 在 配置 了 16GB 的 内 存 后 ， 可 以 抗 6000 个 并 发 链接 数 。 


“ 对 于 运行 Tomcat、Resin、WebLogic 的 应 用 服务 器 ，8GB 内 存 应 该 是 基准 配置 ， 更 准确 的 数字 需要 根据 用 户 数 量 和 技术 架构 来 确定 。 
:数据库 服务 器 的 内 存 由 数据 库 实例 的 数量 、 表 大 小 、 索 引 、 用 户 数量 等 来 决定 ， 一 般 建议 配置 16GB 以 上 的 内 存 ， 笔 者 公司 在 许多 项 目 方案 中 使 用 了 24GB 到 48GB 的 内 存 。 
' 诸如 Postfix 和 Exchange 这 样 的 邮件 服务 器 对 内 存 的 要 求 并 不 高 ，1GB~2GB 就 可 以 满足 了 。 


“ 还 有 一 些 特殊 的 服务 器 ， 需 要 为 之 配置 尽 可 能 大 的 内 存 容量 ， 比 如 配置 有 Varnish 和 Memcached 的 缓存 服务 器 等 。 


“ 若是 只 有 一 台 文 件 服务 器 ，1GB 的 内 存 可 能 就 足够 了 。 


事实 上 ， 由 于 内 存 技术 在 不 断 进化 ， 价 格 也 在 不 断 降低 ， 


优化 和 数据 库 优化 仍然 是 我 们 需要 重视 的 问题 。 


(3) 需要 怎样 的 硬盘 存储 系统 


因此 才 得 以 近乎 奢侈 地 讨论 4GB、8GB、16GB 这 些 曾 经 不 可 想象 的 内 存 容量 。 然 而 ， 除 了 花 钱 购买 内 存 来 


足 应 


程序 的 “ 贪 禁 ” 之 外 ， 系 统 


硬盘 存储 系统 的 选择 和 配置 是 整个 服务 器 系统 里 最 复杂 的 一 部 分 ， 需 要 考虑 硬盘 的 数量 、 容 量 、 接 口 类 型 、 转 速 、 缓 存 大 小 ， 以 及 是 否 需要 RAID 卡 、RAID 卡 的 型 号 和 RAID 级 别 等 问题 。 甚 至 在 一 些 高 


可 靠 性 高 性 能 的 应 


环境 中 ， 还 需要 考虑 使 


“ 如 果 是 用 作 缓 存 服务 器 ， 比 如 Varnish 或 redis， 则 可 以 考虑 用 RAID 0。 


“ 如 果 是 跑 Nginx+FastCGI 或 Nginx 等 应 用 ， 则 可 以 考虑 用 RAID 1。 


“ 如 果 是 内 网 开发 服务 器 或 存放 重要 代码 的 服务 器 ， 则 可 以 考虑 用 RAID 5。 


“如果 是 跑 MySQL 或 Oracle 等 数据 库 应 用 ， 则 可 以 考虑 用 固态 硬盘 做 RAID 5 或 RAID 10。 


5. 网 卡 性 能 方面 的 考虑 


如 果 基 础 架构 是 多 服务 器 环境 ， 而 且 服 务 器 之 间 有 大 量 的 数 所 


如 果 采 


的 是 AWS EC2 云 主机 环境 ， 单 纯 以 EC2 作 为 LVS 或 HAProxy 意 义 不 大 。 如 果 经 常 使 


怎样 的 外 部 存储 系统 (SAN、NAS 或 DAS) 。 下 面 将 服务 器 的 硬盘 RAID 卡 的 特点 归纳 一 下 : 


届 交 换 ， 那 么 建议 为 每 台 服 务 器 配置 两 个 或 更 多 的 网 卡 ， 一 个 
火 墙 内 ， 所 以 许多 时 候 单 网 卡 就 足够 了 ; 而 比如 LVS + Keepalived 这 种 只 用 公 网 地 址 的 Linux 集 群 架构 ， 有 时 可 能 只 需要 一 块 网 卡 即 可 。 建 议 大 家 选 
别 的 。 


AWS EC2 机 器 ， 应 该 会 注意 到 AWS 将 机 器 的 网 卡 1 


来 对 外 提供 服务 ， 另 一 个 


万 兆 


来 做 内 部 数据 交换 。 由 于 现在 项 目 外 端 都 置 于 防 
卡 。 另外， 建议 交换 机 至 少 也 要 选择 干 兆 网 卡 级 


性 能 分 成 了 3 个 级 别 ， 即 Low、Moderate、High， 那 么 


这 3 个 级 别 分 别 是 什么 情况 呢 ? 虽然 AWS 没 有 带宽 限制 ， 但 是 由 于 多 虚拟 机 共享 HOST 物 理 机 的 网 络 性 能 和 1/O 性 能 ， 单 个 虚拟 机 的 网 络 性 能 也 不 是 特别 好 度量 ， 不 过 大 概 情况 是 这 样 的 :Low 级别 的 是 20M 


bit/s，Moderate 级 别 的 是 40M 


AWS 提 供 的 Elastic Load Bala 
的 应 
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民 务 器 安全 方面 的 考虑 


由 于 目前 国内 的 DDoS 攻击 还 是 比较 普遍 的 
的 ， 这 里 只 是 想 让 大 家 有 个 概念 性 的 认识 。 此 多 


ncing 产 品 ， 它 可 以 在 云 中 的 多 个 Amazon EC2 实 例 间 


bit/s，High 级 别 的 能 达到 80M bit/s~100M bit/s。 从 上 面 的 分 析 情况 可 以 得 知 ， 单 台 AWS EC2 主 机 作为 网 站 的 负载 均衡 入 


动 分 配 应 


程序 容错 性 能 ， 从 而 无 颖 地 提供 分 配 应 


7. 根 据 机 架 数 合理 安排 服务 器 的 数量 


这 个 问题 应 该 在 项 目 实施 前 就 处 理 好 了 的 ， 选 择 服务 器 时 应 该 明确 服务 器 的 规格 ， 即 到 底 是 1U、2U 还 是 4 的， 到底 有 多 少 台 服务 器 和 交换 机 ， 应 该 如 何 安排 ， 毕 竟 机 


程序 流量 所 需 的 负载 均衡 容量 。 除 了 提供 负载 均衡 常见 的 功能 之 外 ， 它 还 具有 Auto Scalling 功 能 ， 关 了 


这 个 问题 可 能 无 关 紧 


讯 网 站 设计 方案 ， 只 


8 .成 本 考虑 : 服务 器 的 价格 问题 


无 论 是 在 公司 采购 时 ， 还 是 在 项 目 实施 过 程 中 ， 成 本 都 是 非常 


加 


服务 器 作为 简单 集群 架构 。 如 果 是 做 中 大 型 电子 商务 网 站 ， 那 么 在 服务 器 成 本 上 的 控制 就 尤其 重 


了 。 习 


这 时 候 ， 就 不 得 不 另外 设计 一 套 最 小 化 成 本 预算 方案 来 折 中 处 理 。 


以 上 8 个 方面 是 我 们 在 采购 服务 器 时 应 该 要 注意 的 因素 ， 在 选择 服务 器 的 组 件 时 要 有 所 偏重 ， 然 后 根据 系统 或 网 站 架构 来 决定 服务 器 的 数量 ， 尽 量 做 到 服务 器 资源 利 


要 做 到 最 优 的 性 价 比 。 


1.4 CentOS 6.4 x86_ 64 最 小 化 安装 后 的 优化 


。 所 以 


面 对 这 种 需求 ， 笔 者 会 将 和 
实 上 ， 我 们 经 常 面 对 的 问题 是 ， 客 户 给 出 的 成 本 预算 有 限 ， 


口 ， 容 易 成 为 网 站 的 瓶颈 。 这 个 时 候 可 以 考虑 使 
程序 的 访问 流量 (大 家 注意 到 没 ， 相 当 于 它 将 网 站 的 流量 分 担 到 了 多 人 台 机 器 上 ) 。 它 可 以 实现 更 高 水 平 
FAuto Scalling 的 详细 介绍 ， 可 参见 AWS 官 方 文档 。 


， 但 在 大 型 项 目的 实施 过 程 中 ， 这 个 问题 就 很 突出 了 。 我 们 应 该 根据 现 有 或 额定 的 机 架 数 目 确定 到 底 应 该 选择 多 少 台 服 务 器 和 交换 机 。 


， 因 此 建议 给 每 个 项 目 方案 和 自己 的 电子 商务 网 站 配备 硬件 防火 墙 ， 比 如 Juniper、Cisco 等 硬件 防火 墙 。 当 然 了 ， 这 个 问题 也 是 网 站 后 期 运营 维护 需要 考虑 


， 建 议 租 赁 CDN 服 务 ， 这 样 万 一 不 幸 遭 遇 恶意 的 DDoS 流量 攻击 ，CDN 还 能 帮助 抵挡 部 分 恶意 流量 ， 核 心机 房 的 业务 不 至 于 在 很 短 的 时 间 内 就 会 月 溃 。 


柜 只 有 42U 的 容量 。 在 小 项 目 中 


要 的 问题 。 笔 者 的 方案 经 常 被 退回 ， 理 由 就 是 超出 预算 。 尤 其 对 于 一 些小 项 目 ， 预 算 更 吃紧 。 之 前 笔者 经 常 
求 周 一 至 周 日 的 上 午 九 点 至 下 午 三 点 网 站 不 出 问题 即 可 ， 并 不 需要 做 复杂 的 负载 均衡 高 可 


面 对 的 客户 需求 是 为 证 券 类 


ENginx 或 HAProxy 设 计 成 负载 均衡 ， 后 面 接 两 台 Web 


而 实际 应 


又 需要 比较 多 的 服务 


购买 了 服务 器 以 后 要 做 的 第 一 件 导 


就 是 安装 操作 系统 了 ， 这 里 推荐 安装 CentOS 6.4 x86_64， 安 装 系统 时 要 选择 最 小 化 安装 (不 需要 图 


形 ) ， 在 使 


服务 器 时 要 记 住 一 个 原则 ， 系 统 安装 的 应 


的 最 大 化 。 在 控制 方案 成 本 的 同 


程序 包 


内 存 机 制 就 很 优秀 ) ， 以 下 配置 优化 部 分 也 适合 Amazon Linux 系 


越 少 ， 服 务 器 就 会 越 稳定 。 至 于 服务 器 单机 性 能 调 优 ， 应 本 着 稳定 安全 的 原则 ， 尽 量 不 要 改动 系统 原 有 的 配置 (CentOS 系 统 自身 的 文件 和 
大 家 可 以 对 比 参考 。 


统 ， 


1.5 ” ”MySQL 数据 库 的 优化 


查询 功能 或 订 身 


1.6 


网 站 上 线 初期 ， 由 于 业务 和 名 气 的 原因 ， 访 | 


小 结 


系统 会 越 来 越 慢 ， 那 么 客户 的 


户 体验 是 相当 糟糕 的 。 那 么 究竟 应 该 如 何 对 MySQl 数 据 库 进 行 优化 呢 ? 下 


问 量 一 般 会 处 于 一 个 比较 低 的 水 平 。 但 随 着 业务 量 的 扩大 ， 网 站 宣传 力度 的 


H 


增加 ， 网 站 的 PV 和 UV 日 渐 增 多 ， 后 端的 MySQL 数 据 库 压力 也 越 来 越 大 ， 网 站 的 
就 人 MySQL 服务 器 对 硬件 的 选择 、 配 置 文件 的 优化 等 方面 来 说 明 这 个 问题 。 


本 章 介 绍 了 系统 架构 设计 的 相关 专业 术语 ， 以 及 关于 IDC 机 房 选择 、 物 理 服 务 器 和 AWC EC2 类 型 实例 的 选择 ， 最 后 介绍 了 CentOS 6.4 x86_64 系 统 的 优化 及 MySQL 数 据 库 的 简单 调 优 ， 这 些 都 是 系统 架构 
设计 的 基础 ， 希 望 大 家 能 够 掌握 此 章 的 内 容 ， 这 对 于 我 们 以 后 的 工作 会 有 很 大 的 帮助 。 


第 2 章 ， 生 产 环境 下 的 Shell 和 Python 脚本 


接触 Linux 系 统 十 多 年 了 ，Shell 和 Python 脚本 都 已 经 完全 融入 笔者 的 生活 中 了 。 虽然 Shell 脚 本 只 是 一 个 简单 的 解释 型 语言 ， 不 受 开 发 人 员 的 重视 ， 但 对 于 系统 运 维 工 程 师 来 说 ， 它 的 作用 举足轻重 ， 它 就 
像 我 们 的 瑞士 军刀 一 样 ， 可 以 帮助 我 们 简化 日 常 的 工作 并 减少 工作 量 。 在 系统 维护 工作 中 ，Shell 脚 本 常常 能 比 用 C 或 C++ 语言 编写 的 程序 更 快 地 解决 相同 的 问题 ， 此 外 ，Shell 脚 本 具有 很 好 的 可 移植 性 ， 有 时 
跨越 Unix 与 POSIX 兼 容 的 系统 ， 只 须 略 作 修改 即 可 ， 甚 至 不 必修 改 即 可 使 用 Shell 脚 本 。 不 过 ，Shell 脚 本 毕竟 是 一 门 系统 脚本 语言 ， 所 以 很 多 高 级 语言 的 特性 它 都 不 具备 ， 比 如 面向 对 象 和 丰富 的 第 三 方 类 库 
支持 ， 不 过 这 一 点 我 们 可 以 用 Python 脚本 来 弥补 。 


2.1 _ Shell 和 Python 语言 的 简单 介绍 


Shell 是 大 家 熟悉 的 一 种 脚本 语言 ， 这 里 简单 介绍 下 它 在 日 常 工作 中 的 应 用 。 


1) 配合 Crontab 帮 助 我 们 定时 执行 任务 ， 就 像 MS 的 计划 任务 一 样 。 很 多 朋友 向 笔者 反映 说 Crontab 不 能 做 秒 级 的 计划 任务 ， 其 实 只 要 写 一 个 Shell 脚 本 ， 
whilehttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15807/OEBPS/Text/..dohttp://www.hzcourse.com/resource/readBook? 


path=/openresources/teach_ebook/uncompressed/15807/OEBPS/Text/..done 循 环 后 放 入 后 台 执行 就 可 以 实现 秒 级 的 计划 任务 了 。 不 过 要 记得 避免 出 现 死 循环 的 问题 。 


2) 开发 Nagios 监 控 插 件 ， 比 如 我 们 的 线 上 的 许多 业务 需求 都 是 通过 Shell 语 言 开发 的 。 


Wo 


合 iptables 可 形成 方便 又 安全 的 iptables 脚 本 ， 还 可 保护 主机 的 安全 。 


4) 文本 过 滤 饰 选 和 大 数据 日 志 分 析 ， 笔 者 公司 的 许多 离线 数据 都 是 通过 Shell 配 合 Python 进行 分 析 处 理 的 。 


w 


可 以 写 强大 的 系统 性 能 和 状态 监控 脚本 ， 并 配合 Keepalived 来 实现 系统 的 高 可 


6) 定时 备份 任务 和 rsync 同 步 重 要 的 服务 器 资料 ， 这 是 Shell 的 基本 功能 。 


| 


自动 化 安装 系统 环境 ， 规 范 化 操作 ， 缩 减 项 目 实施 的 时 间 和 误差 。 


Shel 的 强大 和 其 他 未 挖掘 出 的 功能 需要 我 们 在 日 常 工作 中 不 断 地 发 现 和 总 结 ， 不 过 ， 在 感叹 Shell 脚 本 管理 功能 强大 的 同时 ， 也 应 该 清楚 Shell 脚 本 在 开发 功能 上 的 不 足 之 处 ， 所 以 这 里 向 大 家 推荐 
Python， 它 继承 了 传统 编译 语言 的 强大 性 和 通用 性 ， 同 时 也 借鉴 了 简单 脚本 和 解释 语言 的 易 用 性 ， 运 行 速度 也 不 慢 ， 适 合 于 网 站 开发 ， 正 好 可 以 弥补 Shell 脚 本 的 不 足 。 


Python 是 一 种 动态 解释 型 的 编程 语言 。Python 功 能 强大 ， 可 支持 面向 对 象 、 函 数 式 编程 ， 同 时 还 可 以 在 Windows、Linux 和 Unix 等 多 个 操作 系统 上 使 用 ， 因 此 被 称 为 “胶水 语言 ”。Python 的 简洁 
性 、 易 用 性 使 得 开发 过 程 变 得 简练 ， 特 别 适用 于 快速 应 用 开发 。 笔 者 也 发 现 ，Python 代 码 在 其 所 在 公司 的 系统 中 无 处 不 在 ， 在 线 上 Github 版 本 管理 库 中 的 比重 也 长 期 占据 第 一 、 第 二 的 位 置 ，Python 的 具 
体 应 用 和 流行 原因 在 后 续 章节 里 会 详细 说 明 。 


2.2 ” ”Shell 编程 基 础 


Shell 是 核心 程序 Kernel 之 外 的 命令 解析 器 ， 是 一 个 程序 ， 同 时 也 是 一 种 命令 语言 和 程序 设计 语言 。 


作为 一 种 命令 语言 Shell 可 以 交互 式 地 解析 用 户 输 入 的 命令 。 


作为 一 种 程序 设计 语言 Shell 定 义 了 各 种 参数 ， 并 且 提 供 了 高 级 语言 才 有 的 程序 控制 结构 ， 虽 然 它 不 是 Linux 核 心 系统 的 一 部 分 ， 但 是 它 调用 了 Linux 核 心 的 大 部 分 功能 来 执行 程序 ， 建 立 文件 并 以 并 行 的 
方式 来 协调 程序 的 运行 。 


比如 ， 输 入 命令 ls 后 ，Shell 就 会 解析 ls 这 个 命令 并 且 向 内 核发 出 请 求 ， 内 核 执 行 这 个 命令 之 后 ， 把 结果 告诉 Shell， 然 后 Shell 把 结果 输出 到 屏幕 。 


Shell 相 当 于 是 Windows 系 统 下 的 command.com， 在 Windows 中 这 样 的 解析 器 只 有 一 个 ， 但 是 在 Linux 中 这 样 的 解析 器 有 很 多 个 ， 比 如 Sh、Bash 和 Ksh 等 。 


可 通过 echo$SHELL 来 查看 自己 运行 的 Shell。 在 Shell 中 还 可 以 运行 子 Shell， 直 接 输入 csh 命 令 就 可 以 进入 csh 界 面 了 。 


Linux 默 认 的 Shell 是 Bash， 下 面 的 内 容 主 要 以 此 为 主 。 


2.3 Shell 中 的 控制 流 结构 


Shell 中 的 控制 流 结构 也 比较 清晰 ， 如 下 所 示 : 


' ifhttp:/ /www.hzcourse.com/resource/readBook?path=/openresources/teach_ebook/uncompressed/15807/OEBPS/Text/...thenhttp://www.hzcourse.com/resource/readBook? 


path=/openresources/teach_ebook/uncompressed/15807/OEBPS/Text/...elsehttp://www.hzcourse.com/resource/readBook?path=/openresources/teach_ebook/uncompressed/15807/OEBPS/Text/...fi 语 句 
“ case 语 句 
“for 循环 
"until 循环 
' while 循环 
… break 控 制 


“continue 控 制 


工作 中 用 得 最 多 的 就 是 if 语句 、for 循 环 、while 循 环 及 case 语 句 ， 大 家 可 以 以 这 几 个 为 重点 对 象 来 学 习 。 


if 语 句 语法 如 下 : 


if 语句 的 进 阶 用 法 : 


if 条件 1 
then 
令 l1 
else if 条 件 2 
then 
命令 2 
else 


Ey 


举例 说 明 下 if 语 句 的 用 法 ， 示 例如 下 : 


#!/bin/bash 
LY 
then 

echo "10 确 实 比 12 小 " 
else 


echo "10 不 小 于 12" 
x 


case 语 句 语 法 如 下 : 


case 值 in 模 式 1) 
令 1 


;模式 2) 
命令 2 
*) 


esac 


case 取 值 后 面 必须 为 单词 in， 每 一 模式 必须 以 右 括号 结束 。 取 值 可 以 为 变量 或 常数 。 匹 配 发 现 取 值 符合 某 一 模式 后 ， 其 间 所 有 的 命令 都 开始 执行 直至 “; ; ”。 模 式 匹 配 符 “*” 表示 任意 字 
“? ”表示 任意 单字 符 ，“[http://www.hzcourse.com/resource/readBook?path=/openresources/teach_ebook/uncompressed/15807/OEBPS/Text/..]” 表 示 类 或 范围 中 任意 字符 。 


case 语 句 适 合 打印 成 绩 或 用 于 /etc/init.d/ 服 务 类 脚本 。 以 下 面 的 脚本 为 例 来 说 明 下 。 


#!/bin/bash 

#case select 

echo -n "Enter a number from 1 to 3:" 
read ANS 

case $ANS in 


echo “you select 1" 
echo "You select 2" 


echo "You select 3" 


echo "basename $0*: this is not between 1 and 3" 
exit; 


esac 


下 面 是 稍为 复杂 的 实例 说 明 ，/etc/init.d/syslog 脚 本 的 部 分 代码 如 下 ， 大 家 注意 case 语 句 的 用 法 ， 可 以 以 此 为 参考 编写 自己 的 case 脚 本 : 


Case "$1" in 

start) 
start 
exit 0 

了 

stop) 
stop 
exit 0 


reload|restart |force-reload) 
stop 
start 
exit 0 


echo "Usage: $0 {start|stoplreload|restart|force-reload}" 
exit 1 


esac 


for 循 环 语句 的 语法 如 下 : 


for 变量 名 in 列表 


围 ， 


若 变量 值 在 列表 里 ， 则 for 人 循环 执行 一 次 所 有 命令 ， 使 用 变量 名 访问 列表 并 且 取 值 。 命 令 可 为 任何 有 效 的 Shell 命 令 和 语句 ， 变 量 名 为 任意 单词 。in 列 表 可 以 包含 列表 、 字 符 串 和 文件 名 ， 还 可 以 是 数值 范 
例如 {100http://www.hzcourse.com/resource/readBook?path=/openresources/teach_ebook/uncompressed/15807/OEBPS/Text/..200}， 举 例 说 明 如 下 : 


#!/bin/bash 
for n in {100http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15807/0EBPS/Text/..200} 
do 

host=192.168.1.$n 

Ping -c2 $host &>/dev/null 


if [ $? = 0 ]; then 
echo "$host is UP" 
else 
echo "$host is DOWN" 
2 
done 


while 循 环 语句 的 语法 如 下 : 


while 条 件 
do 
命令 


done 


在 Linux 中 有 很 多 逐 行 读 取 一 个 文件 的 方法 ， 


其 中 最 常 


的 就 是 下 


将 通过 生成 一 个 大 文件 的 方式 来 检验 各 种 方法 的 执 


行 效率 。 


HI 


脚本 里 的 方法 (管道 法 ) ， 而 且 这 也 是 效率 最 高 、 使 F 


在 脚本 里 ，LINE 这 个 变量 是 预定 义 的， 并 不 需要 重新 定义 ，$FILENAME 后 面 接 系统 中 实际 存在 着 的 文件 名 。 


管道 方法 的 命令 语句 如 下 : 


最 多 的 方法 ， 笔 者 最 喜欢 


的 也 是 管道 法 。 为 了 给 大 家 一 个 直观 的 感受 ， 下 


回 


cat $FILENAME | while read LINE 


脚本 举例 说 明 如 下 : 


#! /bin/bash 
cat test.txt | while read LINE 
do 

echo $LINE 

done 


} 


2.4 sed 的 基础 用 法 及 实用 示例 


sed 是 Linux 平 台 下 的 轻 量 级 流 编辑 器 ， 一 般 


个 脚本 解释 器 ， 用 类 似 于 编程 的 手段 来 完成 很 多 导 


情 。 我 们 完全 可 以 


文档 ， 所 以 大 家 将 会 发 现 它 在 Shell 脚 本 里 的 使 


2.5 awk 的 基础 用 法 及 实用 示例 


1.awk 工 具 简介 


awk 是 一 个 强大 的 文本 分 析 工 
切片 ， 切 开 的 部 分 再 进行 各 种 分 析 处 理 。awk 的 名 称 得 | 


频率 是 很 高 的 。 


， 相 对 于 grep 的 查找 、sed 的 编辑 ，awk 在 对 数 折 


建 者 已 将 它 正式 定义 为 “样式 扫描 和 处 理 语言 ”。 


sed 的 方式 来 处 理 


日 常 工作 中 的 大 多 数 文档 。 它 跟 vim 最 大 的 


awk 人 允许 我 们 创建 简短 的 程序 ， 这 些 程序 可 读 取 输入 文件 、 为 数据 排序 、 处 理 数据 、 对 输入 执行 计算 及 生成 报表 ， 还 有 无 数 其 他 的 功能 。 


2. 使 用 方法 


awk 的 命令 格式 如 下 : 


awk 'pattern {action}' filename 


于 处 理 文本 文件 。sed 有 许多 很 好 的 特性 。 首 先 ， 它 相当 小 巧 ; 其 次 ， 它 可 以 配合 强大 的 Shell 来 完成 很 多 复杂 的 功能 。 在 笔者 看 来 ， 完 全 可 以 把 sed 当 作 一 
区 别 在 于 : sed 不 需要 像 vim 一 样 打开 文件 ， 而 是 可 以 在 脚本 里 


直接 操作 


时 进行 分 析 并 生成 报告 时 ， 显 得 尤为 强大 。 简 单 来 说 ，awk 就 是 把 文件 逐 行 地 读 入 ， 然 后 以 空格 为 默认 分 隔 符 将 每 行进 行 
于 它 的 创始 人 Alfred Aho、Peter Weinberger 和 Brian Kernighan 姓 氏 的 首 个 字母 。 实 际 上 awk 的 确 拥有 自己 的 语言 : 


awk 语言 的 最 基本 功能 是 在 文件 或 字符 串 中 基于 指定 的 规则 


其 中 ，pattern 就 是 要 表示 的 正则 表达 式 ， 它 表示 awk 在 数 H 


居中 查找 的 内 容 ， 而 action 是 在 找到 匹配 内 容 时 所 执行 的 一 系列 


通常 ，awk 是 以 文件 的 一 行为 处 理 单位 的 。awk 每 接收 文件 的 一 行 后 ， 就 会 执行 相应 的 命令 来 处 理 文本 。 


下 面 介绍 一 下 awk 程序 设计 模型 。 


awk 程序 由 3 部 分 组 成 ， 分 别 为 : 


合作 
pp。 


浏览 和 抽取 信息 ， 在 抽取 信息 后 ， 才 能 进行 其 他 文本 操作 。 完 整 的 awk 脚本 通常 用 来 格式 化 文本 文件 中 的 信息 。 


初始 化 (处 理 输 入 前 做 的 准备 ， 放 在 BEGIN 块 中 ) 数据 处 理 (处 理 输入 数据 ) 收尾 处 理 (处 理 输入 完成 后 要 进行 的 处 理 ， 放 到 END 块 中 ) 


3.awk 调 用 方式 


awk 主要 有 三 种 调 分 别 来 看 看 。 


方式 , 下 


(1) 命令 行 方式 


其 中 ， 在 “数据 处 理 ” 过 程 中 ， 指 令 被 写成 一 系列 模式 /动作 过 程 ， 模 式 用 于 测试 输入 行 的 规则 ， 以 确定 是 否 将 规则 应 用 于 这 些 输入 行 。 


awk [-F field-separator] 


'commands' filename 


其 中 ，commands 是 真正 的 awk 命令 ，[-F 域 分 隔 符 ] 是 可 选 的 ，filename 是 待 处 理 的 文件 。 


在 awk 文件 的 各 行 中 ， 由 域 分 隔 符 分 开 的 每 一 项 称 为 一 个 域 。 通 常 ， 在 不 指名 -F 域 分 隔 符 的 情况 下 ， 默 认 的 域 分 隔 符 是 空格 。 


(2) 使 用 -{ 选 项 调用 awk 程序 


awk 允许 将 一 段 awk 程序 写 入 一 个 文本 文件 中 ， 然 后 在 awk 命令 行 中 用 -f 选 项 调用 并 执行 这 段 程序 ， 命 令 如 下 : 


awk -f awk-script-file filename 


其 中 ，-f 选 项 加 载 awk-script-file 中 的 awk 脚本 ，filename 表 示 文 件 名 。 


(3) 利用 命令 解释 器 调用 awk 程序 


利用 Linux 系 统 支持 的 命令 解释 器 功能 可 以 将 一 段 awk 程 序 写 入 文本 文件 中 ， 然 后 在 它 的 第 一 行 加 上 #! /bin/awk-f。 


4.awk 详 细 语 法 


与 其 他 Linux 命 令 一 样 ，awk 拥 有 自己 的 语法 : 


awk [ -F re] [parameterhttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15807/0EBPS/Text/...] ['prog'] [-f Progfile] [in filehttp://www.hzc 


其 中 ， 

“ -Frte: 允许 awk 更 改 其 字段 分 隔 符 。 

“ parameter: 该 参数 帮助 为 不 同 的 变量 赋值 。 

“ prog: awk 的 程序 语句 段 。 这 个 语句 段 必须 用 单 引号 ,和 ' 括 起 ， 以 防 被 Shell 解 释 。 

前 面 已 经 提 到 过 这 个 程序 语句 段 的 标准 形式 ， 如 下 所 示 ; 
awk 'pattern {action}' filename 

其 中 pattern 参 数 可 以 是 egrep 正 则 表达 式 中 的 任何 一 个 ， 它 可 以 使 用 语法 /re/ 再 加 上 一 些 样式 匹配 技巧 构成 。 与 sed 类 似 ， 也 可 以 使 用 “，” 分 开 两 种 样式 以 选择 某 个 范围。 


action 参 数 总 是 被 大 括号 包围 ， 它 由 一 系列 awk 语句 组 成 ， 各 语句 之 间 用 “; ”分 隔 。awk 会 解释 它们 ， 并 在 pattern 给 定 的 样式 匹配 记录 上 执行 相关 操作 。 


事实 上 ， 在 使 用 该 命令 时 可 以 省 略 pattern 和 action 两 者 中 的 某 一 个 ， 但 不 能 两 者 同时 省 略 。 省 略 pattern 表 示 没 有 样式 匹配 ， 对 所 有 行 (记录 ) 均 执行 操作 ; 省 略 action 表 示 执 行 默认 的 操作 一 一 在 标 
准 输出 上 显示 。 


“ -fprogfile: 允许 awk 调 用 并 执行 progfile 指 定 的 程序 文件 。progfile 是 一 个 文本 文件 ， 它 必须 符合 awk 的 语法 。 
“in_file: awk 的 输入 文件 ，awk 允 许 对 多 个 输入 文件 进行 处 理 。 值 得 注意 的 是 awk 不 修改 输入 文件 。 
如 果 未 指定 输入 文件 ，awk 将 接受 标准 输入 ， 并 将 结果 显示 在 标准 输出 上 。 
5.awk 脚 本 编写 
(1) awk 的 内 置 变量 
awk 的 内 置 变量 主要 有 如 下 几 种 。 
“FS: 输入 数据 的 字段 分 隔 符 。 
“RS: 输入 数据 的 记录 分 隔 符 。 
“ OFS: 输出 数据 的 字段 分 隔 符 。 


“ ORS: 输出 数据 的 记录 分 隔 符 。 另 一 类 是 系统 自动 改变 的 ， 比 如 : NF 表示 当前 记录 的 字段 个 数 ，NR 表 示 当 前 记录 的 编号 等 。 


举 个 例子 ， 可 用 如 下 命令 打印 passwd 中 的 第 1 个 和 第 3 个 字段 : 


awk -FE ":" '{ print $1 "" $3 }' /tmp/passwd 


(2) pattern/action 模 式 


awk 程序 部 分 采用 了 pattern/action 模 式 ， 即 针对 匹配 pattern 的 数据 ， 使 用 action 逻 辑 进行 处 理 。 来 看 下 面 这 两 个 例子 。 


判断 当前 是 不 是 空格 ， 命 令 如 下 : 


/“*$/ {print "This is a blank line!"} 


判断 第 5 个 字段 是 否 含有 “MA”， 命 令 如 下 : 


$5 ~“ /MA/ {print $1 ww $3} 


(3) awk 与 Shell 混 用 


因为 awk 可 以 作为 一 个 Shell 命 令 使 用 ， 因 此 awk 能 与 Shell 脚 本 程序 很 好 地 融合 在 一 起 ， 这 点 为 实现 awk 与 Shell 程 序 的 混合 编程 提供 了 可 能 。 实 现 混合 编程 的 关键 是 awk 与 Shell 脚 本 之 间 的 对 话 ， 换 言 
之 ， 就 是 awk 与 Shell 脚 本 之 间 的 信息 交流 : awk 从 Shell 脚 本 中 获取 所 需 的 信息 (通常 是 变量 的 值 ) 、 在 awk 中 执行 Shell 命 令 行 、Shell 脚 本 将 命令 执行 的 结果 送 给 awk 处 理 ， 以 及 Shell 脚 本 读 取 awk 的 执行 
结果 等 ， 另 外 需要 注意 的 是 在 Shell 脚 本 中 读 取 awk 变 量 的 方式 ， 一 般 是 通过 "'$ 变 量 名 "的 方式 来 读 取 Shell 程 序 中 的 变量 。 


6.awk 内 置 变 量 


awk 有 许多 内 


于 设置 环境 信息 ， 这 些 变量 可 以 被 改变 ， 下 


回 


变量 


列举 了 工作 中 最 常 


变量 及 其 意义 如 下 所 示 : 


的 一 些 awk 变量 ， 


ARGC 命令 行 参数 个 数 

RARGV 命令 行 参数 排列 

ENVIRON 支持 队列 中 系统 环境 变量 的 使 用 
FILENRME awk 浏览 的 文件 名 

FNR 浏览 文件 的 记录 数 

FS 设置 输入 域 分 隔 符 ， 等 价 于 命令 行 -F 选 项 
NF 浏览 记录 的 域 的 个 数 

NR 已 读 的 记录 数 

OFS 输出 域 分 隔 符 

ORS 输出 记录 分 隔 符 

RS 控制 记录 分 隔 符 


此 外 ，$0 变 量 是 指 整 条 记录 。$1 表 示 当 前 行 的 第 一 个 域 ，$2 表 示 当 前 行 的 第 二 个 域 … 


7.awk 中 的 print 和 printf 


打印 输出 的 函数 。 


awk 中 同时 提供 了 print 和 printf 两 种 


.依次 类 推 。 


二 


其 中 print 函 数 的 参数 可 以 是 变量 、 数 值 或 字符 串 。 字 符 串 必须 
只 是 后 者 是 空格 而 已 。 


双 引 号 引用 ， 


要 


printf 函 数 ， 其 有 


使 


示例 如 下 所 示 : 


逗号 分 隔 。 如 果 没 有 逗号 ， 


的 作 | 


参数 就 会 串联 在 一 起 而 无 法 区 分 。 这 里 ， 逗 


[= 
3 


与 输出 文件 的 分 隔 符 的 作 


法 和 (5 语言 中 printf 函 数 基本 相似 ， 可 以 格式 化 字符 串 ， 输 出 复杂 结果 时 ，printf 的 显示 结果 更 加 人 性 化 。 


awk -FE ':' '{printf ("filename:%10s,linenumber:%s,columns:%s,linecontent:%s\ 


n", FILENAME, NR, NF, $0) }' /tpm/passwd 


命令 显示 结果 如 下 所 示 : 


7,1linecontent: 
7,1linecontent:bin: 
7,1linecontent: 
7,1linecontent: 
7,1linecontent: 
7,1linecontent: 
7,1linecontent: 


filename: 
filename: 
filename: 
filename: 
filename: 
filename: 
filename: 


/tmp/passwd, linenumber:1,columns: 
/tmp/passwd, linenumber:2,columns: 
/tmp/passwd, linenumber:3,columns: 
/tmp/passwd, linenumber:4,columns: 
/tmp/passwd, linenumber:5,columns: 
/tmp/passwd, linenumber:6,columns: 
/tmp/passwd, linenumber:7,columns: 


:2:daemon 


root:x:0:0:root:/root:/bin/bash 
bin:/bin:/sbin/nologin 


:/sbin:/sbin/nologin 


adm: /var/adm: /sbin/nologin 
p:/var/spool/lpd:/sbin/nologin 
:sync:/sbin:/bin/sync 
0:shutdown:/sbin:/sbin/shutdown 


filename: 
filename: 
filename: 
filename: 


filename 


filename: 
filename: 
filename: 
filename: 
filename: 
filename: 
filename: 
filename: 
filename: 
filename: 
filename: 
filename: 


/tmp/passwd, linenumber: 
/tmp/passwd, linenumber: 
/tmp/passwd, linenumber: 
/tmp/passwd, linenumber: 
:/tmp/passwd, linenumber: 
/tmp/passwd, linenumber: 
/tmp/passwd, linenumber: 
/tmp/passwd, linenumber: 
/tmp/passwd, linenumber: 
/tmp/passwd, linenumber: 
/tmp/passwd, linenumber: 
/tmp/passwd, linenumber: 
/tmp/passwd, linenumber: 
/tmp/passwd, linenumber: 
/tmp/passwd, linenumber: 
/tmp/passwd, linenumber: 
/tmp/passwd, linenumber: 


8,colums: 
9,columns: 


10,colums: 
11,colums: 
12, columns : 
13, columns : 
14, columns : 
15, columns : 
16, columns : 
17,colums: 
18, colums: 
19, columns : 
20, columns: 
21, columns: 
22, columns: 
23,columns: 
24,columns: 


7,1linecontent: 
7,1linecontent: 
7,linecontent: 
7,linecontent: 
7,1linecontent: 
7,1linecontent: 
7,linecontent: 
7,1linecontent: 
7,1linecontent: 
7,linecontent: 
7,linecontent: 
7,1linecontent: 
7,1linecontent: 
7,linecontent: 
7,1linecontent: 
7,1linecontent: 
7,linecontent: 


alt:/sbin:/sbin/halt 
2:mail:/var/spool/mail:/sbin/nologin 
uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin 
operator:x:11:0:operator:/root:/sbin/nologin 
games:x:12:100:games:/usr/games:/sbin/nologin 
gopher:x:13:30:gopher:/var/gopher:/sbin/nologin 

ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin 
nobody:x:99:99:Nobody:/:/sbin/nologin 

vcsa:x:69:69:virtual console memory owner:/dev:/sbin/nologin 
saslauth:x:499:76:"Saslauthd user":/var/empty/saslauth:/sbin/nologin 
postfix:x :/var/spool/postfix:/sbin/nologin 

sshd:x:74: Vilege-separated SSH:/var/empty/sshd:/sbin/nologin 
puppet :x:52:52:Puppet:/var/lib/puppet:/sbin/nologin 
ntp:x:38:38::/etc/ntp:/sbin/nologin 
nagios:x:500:500::/home/nagios:/bin/bash 
apache:x:48:48:Apache:/var/www:/sbin/nologin 

nginx:x:498:499:nginx user:/var/cache/nginx:/sbin/nologin 


参考 文档 http://blog.pengduncun.com/? p=876。 
8. 工 作 示 例 


截取 出 init 中 PID 的 示例 命令 如 下 : 


Ps -aux | grep init | grep -V grep | awk '{print $2}"' 


截取 网 卡 eth0 的 IPv4 地 址 ， 示 例 命令 如 下 : 


ifconfig eth0 |grep "inet addr:" | awk -F: '{print $2}' lawk '{print $1}"' 


找 出 当前 系统 的 自 启动 服务 ， 示 例 命令 如 下 : 


chkconfig --list |grep 3:on | awk '{print $1}' 


取出 vmstat 第 4 项 的 平均 值 ， 示 例 命令 如 下 : 


vmstat 1 4 | egrep -v "iolfree" | awk '{sumt=$4} END{print sum/4}"' 


以 | 为 分 隔 符 ,汇总 /yundisk/log/hadoop/ 下 的 hadoop 第 9 项 


cat /yundisk/1log/hadoop/hadoop clk *.lo0g | awk -F '|' 'BEGIN{count=0} $2>0 


志 并 打印 ， 示 例 命 令 如 下 : 


{count=count+$9} END {print count}" 


2.6 ”生产 环境 下 的 Shell 和 Python 脚 本 分 类 


生产 环境 下 的 Shell 和 Python 脚本 的 作 上 


还 是 挺 多 的 ， 这 里 根据 2.1 节 所 介绍 的 日 常 工 作 中 Shell 脚 本 的 作 


， 将 生产 环境 下 的 Shell 脚 本 分 为 备份 类 、 监 控 类 、 统 计 类 、 运 维 开发 类 和 自动 化 运 维 类 。 前 | 


回 


3 类 从 字面 意义 上 看 比较 容易 理解 ， 后 面 的 两 类 需要 稍微 解释 一 下 ， 运 维 开发 类 脚本 是 利 


Shell 或 Python 实 现 一 些 非 系 统 类 的 管理 工作 ， 比 如 SVN 的 发 布 程序 等 ;而 自动 化 运 维 类 脚本 则 是 利用 Shel| 或 


Python 来 自动 蔡 我 们 做 一 些 烦 琐 的 工作 ， 比 如 自动 生成 并 分 配 密码 给 开发 组 的 用 户 ， 或 者 


自动 安装 LNMP 环 境 等 。 下 面 会 就 这 些 分 类 列举 一 些 具体 的 实例 ， 以 便于 大 家 理解 。 另 外 值得 说 明 的 一 点 是 ， 这 些 


实例 都 源 自 于 笔者 的 线 上 环境 ， 大 家 拿 过 来 稍微 改动 一 下 IP 或 备份 一 下 


录 基 本 上 就 可 以 直接 使 


Ts 


另外 ， 因 为 现在 的 线 上 业务 大 多 采 


的 是 AWS EC2 机 器 ， 基 本 上 采 


的 都 是 Amazon 


Linux 系 统 ， 所 以 这 里 先 跟 大 家 简单 介绍 下 Amazon Linux 系 统 。 


Amazon Linux 系 统 由 Amazon Web Services (AWS) 提供 ， 旨 在 为 Amazon EC2 上 运行 的 应 用 程序 提供 稳定 、 安 全 、 高 性 能 的 执行 环境 。 此 外 ， 它 还 包括 能 够 与 AWS 轻 松 集成 的 软件 包 ， 比 如 启动 
配置 工具 和 许多 常见 的 AWS 库 及 工具 等 。AWS 为 运行 Amazon Linux 系 统 的 所 有 实例 提供 持续 的 安全 性 和 维护 更 新 。 


(1) 启动 并 连接 到 Amazon Linux 实 例 


要 启动 Amazon Linux 实 例 ， 请 使 用 Amazon Linux AMI (映像 ) 。AWS 向 Amazon EC2 用 户 提供 Amazon Linux AM1， 无 需 额外 费用 。 找 到 需要 的 AMI 后 ， 记 下 AMI ID， 然 后 就 可 以 使 用 AMI ID 来 
启动 并 连接 到 相应 的 实例 了 。 


默认 情况 下 ，Amazon Linux 不 支持 远程 根 SSH。 此 外 ， 密 码 验证 已 禁用 ， 以 防止 强力 (brute-force) 密码 攻击 。 要 在 Amazon Linux 实 例 上 启用 SSH 登 录 ， 必 须 在 实例 启动 时 为 其 提供 密 铀 对 ， 还 必 
须 设 置 用 于 启动 实例 的 安全 组 以 允许 SSH 访 问 。 默 认 情况 下 ， 唯 一 可 以 使 用 SSH 进 行 远程 登录 的 账户 是 ec2-user; 此 账户 还 拥有 sudo 特 权 。 如 果 希 望 启动 远程 根 登录 ， 请 注意 ， 其 安全 性 不 及 依赖 密 钥 对 和 


有 关 启 动 和 使 用 Amazon Linux 实 例 的 信息 ， 请 参阅 启动 实例 。 有 关连 接 到 Amazon Linux 实 例 的 更 多 信息 ， 请 参阅 连接 到 Linux 实 例 。 


(2) 识别 Amazon Linux AMI 映 像 


每 个 映像 都 包含 唯一 的 /etc/image-id， 用 于 识别 AMI。 此 文件 包含 了 有 关 映 像 的 信息 。 


下 面 是 /etc/image-id 文 件 示 例 ， 命 令 如 下 : 


cat /etc/image-id 


命令 显示 结果 如 下 所 示 : 


image_name="amzn-ami-hvm" 

image Version="2015.03" 

image arch="x86_ 64" 

image _ file="amzn-ami-hvm-2015.03.0.x86 64.ext4.gpt" 
image_stamp="366c-fff6" 加 

image date="20150318153038" 

recipe name="amzn ami" 

recipe id="1c207c1f-6186-b5c9-4elb-9400-c2d8-a3b2-3d11fdf8" 


其 中 ，image_name、image_version 和 image_arch 项 目 来 自 Amazon 用 于 构建 映像 的 配方 。image_stamp 只 是 映像 创建 期 间 随机 生成 的 唯一 十 六 进 制 值 。image_date 项 目的 格式 为 
YYYYMMDDhhmmss， 是 映像 创建 时 的 UTC 时 间 。recipe_name 和 recipe id 是 Amazon 用 于 构建 映像 的 构建 配方 的 名 称 和 ID， 用 于 识别 当前 运行 的 Amazon Linux 的 版 本 。 从 yum 存 储 库 安 装 更 新 时 ， 此 
文件 不 会 更 改 。 


Amazon Linux 包 含 /etc/system-release 文 件 ， 用 于 指定 当前 安装 的 版 本 。 此 文件 通过 yum 进 行 更 新 ， 是 system-release RPM 的 一 部 分 。 


下 面 是 /etc/system-release 文 件 示例 ， 命 令 如 下 : 


cat /etc/system-release 


命令 显示 结果 如 下 所 示 : 


Amazon Linux AMI release 2015.03 


@ 


Amazon Linux 系 统 这 部 分 内 容 摘 录 自 http://docs.aws.amazon.com/zh_cn/AWSEC2/latest/UserGuide/AmazonLinuxAMIBasics.html#IdentifyingLinuxAMI_Images 


&7 WN 


本 章 向 大 家 详细 说 明了 Shell 的 基础 语法 ， 以 及 sed 和 awk 在 日 常 工作 中 的 使 用 案例 ， 并 用 Shell 命 令 grep 和 find 结 合 正则 表达 式 演 示 了 正则 表达 式 的 一 些 基础 用 法 。 在 后 面 的 实例 中 ， 又 根据 备份 类 、 监 控 
类 、 统 计 类 、 自 动 化 运 维 类 、 运 维 开发 类 向 大 家 演示 了 在 生产 环境 下 我 们 经 常用 到 的 Shel 和 Python 脚本 。 我 们 在 感叹 Shell 脚 本 强大 的 管理 功能 的 同时 ， 也 应 该 比较 清楚 Shell 脚 本 在 开发 功能 上 的 不 足 ， 而 
Python 正好 能 够 弥补 这 个 缺点 ， 它 继承 了 传统 编译 语言 的 强大 性 和 通用 性 ， 同 时 也 借鉴 了 简单 脚本 和 解释 语言 的 易 用 性 ， 运 行 速度 也 不 慢 ， 适 合 网 站 开发 ， 正 好 可 以 弥补 Shell 脚 本 的 不 足 。 结 合 这 两 种 脚本 
语言 ， 我 们 的 系统 运 维 工作 和 DevOps 工 作 会 更 加 得 心 应 手 。 


第 3 章 ” 轻 量 级 自动 化 运 维 工 具 Fabric 详 解 


近期 公司 的 业务 系统 代码 发 布 频繁 ， 笔 者 同时 在 几 个 项 目 组 里 面 穿插 工作 ， 发 现 发 布 和 运 维 的 工作 都 相当 机 械 ， 加 上 频率 比较 高 ， 导 致 时 间 的 浪费 也 比较 多 。 很 多 测试 工作 ， 例 如 通过 SSH 登 录 到 测试 
环境 ， 推 送 代 码 ， 然 后 修改 Bug 进 行 测试 ， 这 些 操 作 都 是 非常 机 械 并 且 具 有 重复 性 的 。 更 让 人 郁闷 的 是 ， 每 次 的 操作 都 是 相同 的 ， 命 令 基 本 上 都 是 一 样 的 ， 并 且 是 在 多 台 机 器 上 执行 ， 很 难 在 本 机 上 以 一 个 脚 
本 来 搞定 ， 主 要 时 间 都 浪费 在 使 用 SSH 登 录 和 输入 命令 上 了 。 这 个 时 候 需要 一 个 轻 量 级 的 自动 化 运 维 工具 ， 来 帮助 我 们 解决 这 些 问题 ，Fabric 就 顺应 这 个 需求 而 出 现 了 ， 它 非常 适合 于 这 些 简单 的 、 重 复 性 的 
远程 操作 。Fabirc 是 基于 Python 语言 开发 的 ， 前 文 2.1 节 就 提 到 过 ，Python 应 用 非常 火爆 ， 接 下 来 看 看 Python 的 应 用 领域 及 其 流行 的 原因 。 


3.1 Python 语言 的 应 用 领域 


1. 云 计算 基础 设施 


云 计算 平台 分 为 私有 云 和 公有 云 。 私 有 云 平台 如 大 名 易 见 的 OpenSstack， 就 是 以 Python 语言 编写 的 。 公 有 云 ， 无 论 是 AWS、Azure、GCE (Google Compute Engine) 、 阿 里 云 还 是 青云 ， 都 提供 了 
Python SDK， 其 中 GCE 只 提供 了 Python 和 Javascript 的 SDK， 青 云 只 提供 了 Python SDK。 由 此 可 见 各 家 云 平 台 对 Python 的 重视 。 


全 注意 


软件 开发 工具 包 (Software Development Kit，SDK) 一 般 是 一 些 开发 工具 的 集合 ， 用 于 为 特定 的 软件 包 、 软 件 框 架 、 硬 件 平台 、 操 作 系 统 等 创建 应 用 软件 。 


2.DevOps 

DevOps， 中 文 名 译作 开发 型 运 维 。 在 互联 网 时 代 ， 只 有 能 够 快速 试验 新 想法 ， 并 在 第 一 时 间 ， 安 全 、 可 靠 地 交付 业务 价值 ， 才 能 保持 竞争 力 。DevOps 推 崇 的 自动 化 构建 、 测 试 、 部 署 及 系统 度量 等 技 
术 实 践 ， 在 互联 网 时 代 是 尤其 重要 的 。 

自动 化 构建 是 因应 用 而 异 的 ， 如 果 是 Python 应 用 ， 因 为 有 setuptools、pip、virtualenv、tox、flake8 等 工具 的 存在 ， 所 以 自动 化 构建 非常 简单 。 而 且 ， 因 为 几乎 所 有 的 Linux 版 本 都 内 置 了 Python 解 
释 器 ， 所 以 用 Python 做 自动 化 ， 系 统 不 需要 预 安装 什么 软件 。 

自动 化 测试 方面 ， 目 前 流行 的 自动 化 测试 框架 有 Robot Framework、Cucumber、Lettuce 三 种 。 基 于 Python 的 Robot Framework 是 企业 级 应 用 最 喜欢 的 自动 化 测试 框架 ， 而 且 和 语言 无 关 。 
Cucumber 也 有 很 多 支持 者 。 基 于 Python 的 Lettuce 可 以 实现 完全 一 样 的 功能 。 此 外 ，Locust (一 个 基于 Python 开发 的 开源 负载 测试 工具 ) 也 开始 在 自动 化 性 能 测试 方面 受到 越 来 越 多 的 关注 。 

自动 化 配置 管理 工具 ， 老 牌 的 如 Chef 和 Puppet， 是 基于 Ruby 语 言 开 发 设计 的 ， 目 前 仍 保持 着 强劲 的 势头 。 不 过 ， 新 生 代 Ansible、SaltStack， 以 及 轻 量 级 的 自动 化 运 维 工 具 Fabric， 均 为 Python 语言 


开发 。 由 于 它们 较 前 两 者 的 设计 更 为 轻 量化 ， 


3. 网 络 肥 虫 


大 数据 的 数据 从 哪里 来 ? 除了 部 分 企业 有 能 


网 络 代 虫 是 Python 的 传统 强势 领域 ， 最 流行 的 拒 虫 框架 Scrapy、HTTP 工 ， 
也 是 基于 Scrapy 开 发 的 。 不 过 ， 网 络 聆 虫 并 不 仅仅 是 打开 网 页 ， 解 析 HTML 这 么 简单 。 高 效 的 礁 虫 要 能 够 支持 大 量 灵活 的 并 发 操作 ， 常 常 要 能 够 同时 抓 取 几 和 干 甚至 上 万 个 网 页 ， 使 


因此 受到 越 来 越 多 开发 者 的 欢迎 ， 并 且 已 经 给 Chef 和 Puppet 制 造 了 不 少 的 竞争 压力 。 


自己 产生 大 量 的 数据 ， 大 部 分 时 候 ， 是 需 


包 urlib2、HTML 解 析 工 


依靠 网 络 代 虫 来 抓 取 互联 网 数据 进行 分 析 的 。 


浪费 比较 大 ， 线 程 数 上 干 之 


4 数据 处 理 


后 系统 资源 基本 上 就 全 浪费 在 线程 调度 上 了 。 由 
的 分 布 式 任务 框架 等 。 被 认为 是 比 AMQP 更 高 效 的 ZeroMQ 最 早 提供 的 也 是 Python 版 本 。 有 了 对 高 并 发 


于 Python 能 够 很 好 地 支持 协 程 (Coroutine) 操作 ， 


因此 基于 Python 发 


从 统计 理论 ， 到 数据 挖 气 、 机 器 学 习 ， 再 到 最 近 几 生 


提出 来 的 深度 学 习 理论 ， 数 据 科学 正 处 于 百花 齐 放 的 时 代 。 数 据 科学 家 们 都 


汐 支 持 ， 网 络 肥 虫 才 可 以 真正 达到 大 数据 规模 。 


不 同 ，Python 本 身 就 是 一 门 工程 性 语言 ， 数 据 科学 家 
爱 ，Spark 为 了 “讨好 ”数据 科学 家 ， 对 这 两 科 


Python 的 数据 处 理 相关 类 库 非常 多 。 比 如 
了 很 多 机 器 学 习 算法 ， 基 于 这 两 个 库 实现 的 Py 
的 大 数据 处 理 类 库 ， 其 DataFrame 的 设计 借 


语言 都 


提供 了 非常 好 的 支持 。 


， 高 性 能 的 科学 计算 类 库 NumPy 和 SciPy， 给 


他 高 级 算法 打下 了 非常 好 的 基础 ， Matplotlib 让 Python 画 


earn2， 是 深度 学 习 领 域 的 重要 成 员 ; Theano 利 有 


鉴 


除了 这 些 领域 以 外 ，Python 还 被 广泛 应 


3.2 选择 Python 的 原因 


对 于 开发 工程 师 而 言 ，Python 的 优雅 和 简洁 无 疑 
区 软件 包 的 爆炸 式 增 长 不 同 


非常 有 活力 ， 和 NodeJs 社 


R 语 言 ， 后 来 又 启发 Spark 项 目 实现 了 类 似 机 制 。 


有 最 大 的 吸引 力 ， 在 Python 交互 式 环境 中 ， 执 行 import this 命 令 ， 读 一 读 Python 之 禅 ， 你 就 会 明 


，Python 的 软件 包 增 长 速度 一 


求 ， 才 使 得 Python 在 做 大 型 项 


对 于 运 维 工程 师 而 言 ，Python 的 最 大 优势 在 了 


比较 复杂 的 任务 时 会 很 痛苦 。 


对 于 DevOps 而 言 ，Python 的 优势 在 于 它 是 一 门 强大 的 “胶水 语言 ”， 特 别 适合 应 F 


“Python 的 代码 风格 简洁 易 懂 、 


: 有 着 丰富 的 Web 开 源 框架 ， 主 流 的 包括 Web2py、Web.py、Zope2、Pyramid、Django 等 。 


“Python 可 用 库 和 模块 比较 多 ， 非 常 方 便 。 


ndows 等 系统 。 


“ 具有 跨 平台 能 力 ， 支 持 Mac、Linux、Wir 


“Python 社区 非常 活跃 ， 在 其 社区 里 基本 上 能 够 找到 一 切 你 所 需要 的 答案 。 


基于 以 上 原 


3.3 ”Python 的 版 本 说 明 


关于 Python 的 版 本 需要 重点 说 明 下 ，Python 的 2.x 版 本 和 3.x 版 本 的 差异 还 是 很 大 的 ， 语 法 上 也 有 很 多 是 完全 不 一 样 的， 这 里 以 线 上 环境 说 明 。 在 线 上 环境 中 ， 暂 时 还 是 只 


如 下 : 


， 我 们 还 有 什么 理由 不 选择 Python 呢 ? 


比较 稳定 ， 同 时 软件 包 的 质量 | 


Beautiful Soup、XML 和 解析 器 lxml 等 ， 都 是 能 够 独当一面 的 类 库 。 笔 者 公司 的 分 布 式 网 络 息 虫 程序 


传统 的 线程 池 方式 资源 


展 了 很 多 并 发 库 ， 如 Gevent、Eventlet， 还 有 Celery 之 类 


什么 语言 编程 呢 ? Python 是 数据 科学 家 最 喜欢 的 语言 之 一 。 和 Ri 语言 


Python 实现 的 算法 ， 可 以 直接 用 在 产品 中 ， 这 对 于 初创 的 大 数据 公司 来 说， 是 非常 有 利于 节省 成 本 的 。 正 是 基于 数据 科学 家 对 Python 和 R 的 热 


图 变 得 像 Matlab 一 样 简单 ; Scikit-learn 和 Milk 实 现 


GPU 加 速 ， 实 现 了 高 性 能 数学 符号 计算 和 多 维 矩 阵 计算 。 当 然 ， 还 有 Pandas， 一 个 在 工程 领域 已 被 广泛 使 


于 Web 开 发 、 游 戏 开发 、 手 机 开发 、 数 据 库 开 发 等 众多 领域 。 


Python 为 什么 如 此 吸引 人 了 。Python 社 区 一 直 


FF ， 几 乎 所 有 的 Linux 发 行 版 本 都 内 置 了 Python 解释 器 。Shell 虽 然 功 能 强大 ， 但 缺点 很 多 : 语法 不 够 优雅 ， 不 支持 
Python 蔡 代 Shell， 完 成 一 些 Shell 实 现 不 了 的 复杂 任务 ， 对 于 运 维 人 员 、 运 维 工程 师 来 说 ， 是 一 次 解放 。 


于 Web 后 端 、 服 务 器 开发 ， 其 优点 如 下 : 


易于 维护 ， 包 括 语法 优势 不 用 写 大 括号 ， 代 码 注释 风格 统一 ， 强 调 做 一 个 事情 只 有 一 种 方法 等 。 


也 相对 较 高 。 有 很 多 人 诉 病 Python 对 于 空格 的 要 求 过 于 苛刻 ， 但 正 是 基于 这 个 严格 的 


向 对 象 、 没 有 第 三 方 库 支持 ， 所 以 在 写 


H 


体 原 因 


Python 2.7 版 本 ， 


“ 由 于 历史 原因 ， 笔 者 公司 业务 系统 的 Python 代码 是 基于 Python 2.7 版 本 开发 的 ， 如 果 向 Python3.x 版 本 移植 的 话 工 作 量 太 大 ， 而 且 不 能 保证 系统 的 稳定 性 ， 所 以 暂时 不 考虑 采用 Python3.x 版 本 。 


“ 现在 采用 的 很 多 第 三 方 类 库 都 只 提供 了 Python2.x 版 本 ， 而 没有 提供 Python3.x 版 本 。 


“ 开发 环境 为 了 跟 线 上 环境 保持 一 致 ， 也 主要 是 Python 2.7 版 本 。 


基于 上 面 的 原因 ， 本 章 的 内 容 也 以 Python 2.7 版 本 为 主 ， 下 面 所 有 有 关 Python 的 代码 都 是 基于 Python 2.7 版 本 的 ， 并 没有 涉及 Python 3.x 版 本 ， 这 一 点 希望 大 家 注意 。 


3.4 ”增强 的 交互 式 环境 l|Python 


虽然 Python 自 带 了 原生 的 Python Shell， 但 功能 上 还 是 比 I1Python 略 逊 一 筹 。1IPython 是 一 种 基于 Python 的 交互 式 解释 器 。 相 较 于 原生 的 Python Shell，IPython 提 供 了 更 为 强大 的 编辑 和 交互 功能 。 


1Python 拥 有 一 套 复 杂 的 并 行 和 分 配 计算 结构 ， 使 得 各 种 并 行 应 用 能 够 交互 式 地 被 开发 、 执 行 、 调 试 和 上 监控。 事实 上 ，IPython 中 的 “|” 就 代表 “交互 ”。 这 个 解释 器 的 强大 使 其 不 仅 可 以 作为 Python 的 解 
释 器 ， 甚 至 还 可 以 直接 作为 系统 管理 员 的 工作 环境 。IPython 具 有 以 下 特征 。 


“Tab 补 全 : 可 以 有 效 地 补 齐 Python 语言 的 模块 、 方 法 和 类 等 原生 的 Python Shell 不 支持 Tab 补 全 功能 ) 。 
:magic 函数 : 内 置 了 很 多 函数 用 来 实现 各 种 特征 。 

“ 宏 : 可 以 将 一 段 代码 定义 为 一 个 宏 ， 以 便 日 后 运行 。 

' 历史 记录 : 提供 了 强大 的 历史 记录 功能 。 

“ 执行 系统 命令 : 可 以 直接 在 交互 式 Shell 中 执行 系统 命令 。 

' 社区 支持 : IPython 有 着 非常 活跃 的 社区 支持 。 


下 面 介绍 IPython 的 安装 过 程 。 


IPython 的 主页 是 http:/ipython.scipy.org/， 其 中 有 关于 IPython 的 官方 资源 ， 包 括 文档 、 下 载 和 常见 问题 等 。 在 CentOS 6.4 x86_64 上 通过 yum 安 装 |Python 是 非常 简单 的 ， 步 又 如 下 : 


1) 下 载 epel 并 安装 epel 源 ， 命 令 如 下 所 示 : 


wget http://ftp.linux.ncsu.edu/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm 
rpm -ivh epel-release-6-8.noarch.rpm 


2) 通过 yum 安 装 IPython， 命 令 如 下 所 示 : 


yum -~y install ipython 


安装 成 功 以 后 ， 就 可 以 直接 输入 命令 ipython 来 启动 IPython 解 释 器 了 ， 大 家 可 以 对 比 一 下 ，IPython 界 面 比 原生 的 Python Shell 界 面 更 漂亮 ， 如 图 3-1 所 示 。 


[root@localhost Yum.repos.d]# ipython 
Python 2.6.6 (r26€66:84292, Jul 23 2015, 15:22:56) 
YPe "copyright", "credits” or "license™” for more information. 


IPython 0.13.2 -- Mn enhanced Interactive Python. 
-> Introduction and overview of IPython's features. 
£f -> Uick reference. 
-> Python's own help system. 
-> Details about obiject’', use 'obiject?22' for extra details. 


图 3-1 IPython 安 装 成 功 界面 


3.5 ”Python (x,，y) 介绍 


Python (x，y) 是 Windows 下 一 个 免费 的 科学 和 工程 开发 包 ， 提 供 数学 计算 、 数 据 分 析 和 可 视 化 展示 。 从 名 字 就 能 看 出 来 这 个 发 行 版 附带 了 科学 计算 方面 的 很 多 常用 库 ， 另 外 还 有 用 于 桌面 软件 界面 
制作 的 PyQt， 以 及 进行 文档 处 理 、 生 成 EXE 文 件 等 的 常用 库 。 此 外 ， 它 还 包含 了 大 量 的 工具 ， 如 IDE、 制 图 制 表 的 工具 、 加 强 的 互动 Shell 等 。 下 文 提 到 的 很 多 软件 在 此 发 行 版 中 都 有 附带 。 在 其 他 方 
面 ，Python (x，y) 还 附带 了 手工 整理 出 的 所 有 库 的 离线 文档 ， 每 个 小 版 本 升级 都 提供 了 单独 的 补丁 。 


Python (x，y) 安装 成 功 以 后 ， 就 默认 自 带 了 IPthon、PyDev (Python IDE) 这 些 软件 包 ， 非 常 方便 ， 推 荐 大 家 在 Windows 下 安装 此 软件 包 来 学 习 Python 的 基础 语法 。Python (x，y) 里 面包 含 的 
软件 如 图 3-2 所 示 。 


Spyder2 1 了 
IPython(with Console 2 on Windows) soe 
Scite ke Development 
cite i 
vironmen 
WinMerge (and ouitors) \ 
Veusz 


Cython 
SWIG 
CC+HFortran compilers 
Header files “SMinGW 
Importlibrartes 


User guides, API documentations 
Examples and Tutorials 
Links to online resources 


One-click install/uninstalll/update 


All usersycurrent user install 
Silent install/uninstall 


Windows explorer integration 


i Python | 


Python(x,y) 


Documentation 一 


| | Windows 
Custom installation folders | 
File type associations | 


version 


图 3-2 ”Python (x，y) 包含 的 软件 


3 


3.6 ” 轻 量 级 自动 化 运 维 工具 Fabric 介 绍 


笔者 公司 目前 的 数据 中 心 采用 的 是 分 布 式 部 署 方案 ， 在 全 球 多 地 都 有 数据 中 心 。 数 据 中 心 采用 的 是 AWS EC2 机 器 ， 
台 AWS EC2 机 器 ， 而 且 业务 繁忙 的 时 候 ， 会 通过 AWS AMI (Amazon 系 统 映像 ) 直接 上 线 几 十 台 相同 业务 的 EC2 机 器 ， 


NumPy, SciPy, numexpr 


General |SymPy, PyWavelets 
scientific “| NetworkX 
modules 


Cvxopt, scikits.timeseries 


Image processing, PIL, OpenCV, PyOpenGL, scikits,image: 
2D/3D plotting =| Matplolib, PyQwt, guiqwt 
and visualization | pnuplot, VTK, ITK, pydicom, VPython 


Graphical User PyQt formlayoir, guidata 
Interface 人 


| wxPython 
PyTables, ViTables 
hSpy, pyhdf 
Data processing | ReportLab 
GDAL 
petcdf4 
Enthought Traits, Envisage 
Tool Suite 


Installation and distribute, pip 
deployment tools | cx_Freeze, py2exe 
Documentation sphinx, rst2pdf 

_ management | docutils, pygments, jinja2 


1 
Debwg, coia chiecking Pe 
and tests tools 


mx Base distribution 
pywin32 
| Parallel Python 
Other 了 xlrd xlwt 
, pyparallel, pyserial pyvisa, pywinauto, sendkeys 
simplejson, pyparsing 
pyreadline 


在 核心 的 数据 中 心里 ，EC2 机 器 的 数量 比较 多 ， 基 本 上 每 个 数据 中 心 都 在 运行 着 几 百 
它们 的 机 器 类 型 、 系 统 应 用 和 配置 文件 基本 上 都 是 一 模 一 样 的 ， 很 多 时 候 需要 修改 


相同 的 配置 文件 和 执行 相同 的 操作 ， 这 个 时 候 为 了 避免 重复 性 的 劳动 就 需要 用 到 自动 化 运 维 工 具 ， 轻 量 级 自动 化 运 维 工具 Fabric 在 这 里 是 首选 。Fabric 是 基于 Python 语言 开发 的 ， 是 开发 组 同事 的 最 爱 。 为 
了 方便 自动 化 运 维 ， 我 们 在 每 个 数据 中 心 都 部 署 了 跳板 机 (在 跳板 机 上 部 署 了 Fabric) ， 其 物理 拓扑 图 如 图 3-3 所 示 。 


System Admin 


部 署 跳板 机 的 好 处 有 以 下 几 点 : 


“ 基于 安全 性 考虑 ， 只 有 跳板 机 上 开放 了 公 网 IP 和 SSH Key 登 录 ， 其 他 的 业务 机 器 默认 只 允许 内 网 登录 ， 公 网 IP 地 址 不 对 外 开放 。 


mm 
= 


跳板 机 


3-3 ”跳板 机 物理 拓扑 


:为 了 方便 自动 化 运 维 部 署 ， 跳 板 机 上 做 了 免 密 码 登 录 ， 可 以 直接 通过 SSH 命 令 操 作 其 他 业务 机 器 。 
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ma | | mm 一 
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线 上 业务 机 器 


: 设置 了 权限 控制 管理 ， 跳 板 机 上 部 署 了 几 套 Key， 分 别 对 应 于 不 同 的 权限 分 配 ， 公 司 的 同事 可 按照 不 同 的 职能 获得 相应 的 私 钥 登 录 跳 板 机 ， 不 同 的 职能 分 配 的 相应 权限 也 是 不 一 样 的 。 


Fabric 是 基于 Python (2.5 及 以 上 版 本 ) 实现 的 SSH 命 令 行 工具 ， 简 化 了 SSH 的 应 


脚本 执行 及 完整 执行 日 志 输出 等 功能 。Fabric 的 官方 地 址 为 http://www.fabfile.org， 目 前 最 高 版 本 为 1.30。 


@@ 二 示 


程序 部 署 及 系统 管理 任务 ， 它 为 系统 提供 了 基础 的 操作 组 件 ， 可 以 实现 本 地 或 远程 Shell 命 令 ， 包 括 文件 上 传 、 下 载 、 


Amazon Linux AMI 是 由 Amazon Web Services 提 供 的 受 支 持 和 维护 的 Linux 映 像 ， 用 于 Amazon Elastic Compute Cloud (Amazon EC2) 。 旨 在 为 Amazon EC2 上 运行 的 应 用 程序 提供 稳定 、 安 全 和 高 性 能 的 执行 


环境 。 它 支持 最 新 的 EC2 实 例 类 型 功能 ， 并 包括 可 与 AWS 轻 松 集成 的 软件 包 。Amazon Web Setvices 为 运行 Amazon Linux AMI 的 所 有 实例 提供 了 持续 的 安全 性 和 维护 更 新 。Amazon Linux AMI 对 于 Amazon EC2 
用 户 是 免费 的 。 


3.7 Fabric 应 用 实例 


3.7.1 开发 环境 中 的 Fabric 应 用 实例 


笔者 公司 在 开发 环境 下 使 用 的 都 是 Xen 和 KVM 虚 拟 机 器 ， 有 不 少数 据 ， 因 为 是 内 网 环境 ， 所 以 直接 用 root 和 SSH 密 码 连 接 。 系 统统 一 为 CentOS 6.4 x86_64， 内 核 版 本 为 2.6.32- 


358.el6.x86 64，Python 版 本 为 2.6.6。 


到 


实例 1， 同 步 Fabric 跳 板 机 的 /etc/hosts 文 件 ， 脚 本 如 下 : 


#!/usr/bin/python 

# -*~ coding; utf-=8 =*— 

from fabric.api import * 

from fabric.colors import * 

from fabric.context managers import * 
#fabric.context managers 是 Fabric 的 上 下 文 管理 类 ， 这 里 需要 import 是 因为 下 面 会 用 到 with 


env.user = 'root' 

env.hosts = ['192.168.1.200','192.168.1.205','192.168.1.206'] 
env.password = 'bilin101' 

Qtask 


# 限 定 只 有 Put_hosts_file 函 数 对 fab 命 令 可 见 
def put hosts files(): 
Print yellow("rsync /etc/host File") 
with settings (warn_only=True) : # 出 现 异 常 时 继续 执行 ， 不 终止 
put("/etc/hosts","/etc/hosts") 
Print green("rsync file success!") 
| 这 里 用 到 with 是 确保 即便 发 生 异 常 ， 也 将 尽早 执行 下 面 的 清理 操作 ， 一 般 来 说 ，PYthon 中 的 with 语句 一 般 多 用 于 执行 清理 操作 (如 关闭 文件 ) ， 因 为 PYthon 中 打开 文件 以 后 的 时 间 是 不 确定 的 ， 如 果 有 其 他 程序 试图 访问 打开 上 
for host in env.hosts: 
env.host_string = host 
put hosts files() 


实例 2， 同 步 公司 内 部 开发 服务 器 的 git 代 码 ， 现 在 互联 网 公司 的 开发 团队 应 该 都 比较 倾向 于 采用 git 作 为 开发 版 本 管理 工具 了 ， 此 脚本 稍微 改动 下 应 该 也 可 以 应 用 于 线 上 的 机 器 ， 脚 本 如 下 : 


#!/usr/bin/python 

# -=*~ coding; utf=8 ~*— 

from fabric.api import * 

from fabric.colors import * 

from fabric.context managers import * 


env.user = 'root' 

env.hosts = ['192.168.1.200','192.168.1.205','192.168.1.206'] 
env.password = 'redhat' 

Qtask 


# 同 上 面 一 样 ， 指 定 git_Uupdate 函 数 只 对 fab 命 令 可 见 
def git update(): 
with settings (warn only=True): 
with cd('/home/project/github'): 
sudo('git stash clear') 
# 清 理 当前 git 中 所 有 的 储藏 ， 以 便于 我 们 stashing 最 新 的 工作 代码 
sudo ('git stash') 
| "如 果 想 切换 分 支 ， 但 是 又 不 想 提交 正在 进行 的 工作 ,那么 就 得 储藏 这 些 变更 。 为 了 往 git 推 栈 推送 一 个 新 的 储藏 ， 只 需要 运行 git stash 命 令 即 可 
sudo ('git pull') 
sudo('git stash apply') 
# 完 成 当前 代码 pull 以 后 ， 取 回 最 新 的 stashing 工 作 代 码 ， 这 里 使 用 命令 git stash apply 
sudo ('nginx -s reload') 
for host in env.hosts: 
env.host string = host 
git update() 


3.8 小 结 


Fabric 作 为 Python 开发 的 轻 量 级 运 维 工 具 ， 小 块头 却 有 大 智慧 ， 熟 练 掌握 其 用 法 能 够 解决 工作 中 的 很 多 自动 化 运 维 需求 ， 这 应 该 也 是 它 受 到 运 维 人 员 和 开发 人 青睐 的 原因 。 大 家 可 以 通过 在 开发 环境 和 线 
上 环境 的 应 用 示例 ， 熟 悉 掌 握 相关 用 法 ， 然 后 将 其 应 用 于 自己 的 系统 自动 化 运 维 环境 。 


第 4 章 ”自动 化 部 署 管理 工具 Ansible 简 介 


对 比 Puppet 和 Saltstack 而 言 ，Ansible 是 一 款 轻 量 级 的 服务 器 集中 管理 软件 ， 它 默认 采用 SSH 的 方式 管理 客户 端 ， 部 署 简单 ， 只 需要 在 跳板 机 或 主 控 端 部 署 Ansible 环 境 ， 被 控 端 无 需 进 行 任何 操作 。Ansible 
是 基于 Python 开 发 的 ， 由 Paramiko 和 PyYAML 两 个 关键 模块 构建 ， 它 的 各 种 模块 可 用 来 实现 对 客户 端 进行 批量 管理 (执行 命令 /安装 软件 /指定 特定 任务 等 ) ， 对 于 一 些 较为 复杂 的 需要 重复 执行 的 任务 ， 可 以 
通过 Ansible 下 的 playbook 系 统 来 管理 。 


Ansible 跟 第 3 章 所 讲 的 Fabtic 一 样 一 都 是 基于 paramiko 开 发 的 。patamiko 是 一 个 纯 Python 实 现 的 SSH 协 议 库 。 因 此 Fabric 和 Ansible 还 有 一 个 共同 点 就 是 都 不 需要 在 远程 主机 上 安装 客户 端 ， 因 为 它们 都 是 基 
于 SSH 来 和 远程 主机 通信 的 。 


关于 Ansible 的 更 多 详细 介绍 请 参考 官方 网 址 http://www.ansibleworks.com。 

相 比较 于 其 他 自动 化 运 维 工具 ，Ansible 的 优势 有 很 多 ， 有 具体 如 下 : 

“ 轻 量 级 ， 无 需 在 客户 端 安装 agent， 更 新 时 只 需 在 操作 机 上 进行 一 次 更 新 即 可 。 
: 批量 任务 执行 可 以 写成 脚本 ， 而 且 不 用 分 发 到 远程 就 可 以 执行 。 


“ 使 用 Python 编写 ， 维 护 更 简单 。 


“ 支持 sudo， 能 够 很 好 地 支持 AWS EC2， 可 以 很 轻松 地 部 署 AWS EC2 环 境 
* Ansible 社 区 非常 活跃 。Ansible 本 身 提供 的 模块 非常 丰富 ， 第 三 方 资 源 多 。 
2015 年 ， 红 帽 公司 (Red Hat) 宣布 收购 Ansible， 在 产品 层面 ，Ansible 符 合 Red Hat 希 望 通过 开放 式 开 发 提供 无 障碍 设计 和 模块 化 架构 的 目标 ， 主 要 体现 在 以 下 几 个 方面 。 


“ Ansible 易 于 使 用 : 这 点 从 下 面 这 两 个 例子 可 见 一 斑 。 一 是 ，Ansible 的 Playbook 使 用 了 人 类 可 读 的 YAML 代 码 进行 编写 ， 简 化 了 自动 化 流程 的 编写 和 维护 ; 二 是 ，Ansible 使 用 标准 的 SSH 连 接 来 执行 自动 
化 流程 ， 不 需要 代理 ， 更 容易 融入 已 有 的 企业 IT 环境 。 


“Ansible 是 模块 化 的 : Ansible 提 供 了 400 多 个 模块 ， 而 且 还 在 不 断 增加 ， 可 用 于 扩展 该 产品 的 功能 。 这 是 Red Hat 希 望 在 其 管理 的 产品 中 提供 的 一 个 重要 功能 。 
“ Ansible 是 一 个 非常 受 欢迎 的 开源 项 目 : 在 GitHub 上 ，Ansible 拥 有 将 近 13000 颗 星 和 4000 个 分 支 。 另 外 据 Redmonk 统 计 ，Hacker News 提 及 Ansible 的 次 数 也 在 飞速 增长 
在 资产 组 合 方面 ，Ansible 符 合 Red Hat 希 望 的 提供 多 层 架构 、 多 层 一 致 性 和 多 供应 商 支持 的 目标 ， 主 要 体现 在 以 下 几 个 方面 。 


“ Ansible 支 持 多 层 部 署 : 按照 设计 ，Ansible 通 过 VM 和 容器 为 多 层 应 用 程序 的 部 署 和 配置 提供 支持 。 这 意味 着 组 织 可 以 将 同一 应 用 程序 的 不 同 组 件 自动 部 署 到 运行 效率 最 高 的 层 上 。 比 如 ，Ansible 可 以 同 
时 在 Vmware vSphere 服 务 器 虚拟 环境 中 管理 VM 和 客户 操作 系统 ， 在 OpenStack IaaS 云 上 部 署 和 管理 实例 ， 在 OpenShift PaaS 云 上 部 署 应 用 程序 。 


“ Ansible 为 架构 的 多 个 层次 带 来 一 致 性 : 借助 Ansible， 可 以 通过 编程 操作 计算 架构 中 从 基础 设施 到 应 用 程序 之 间 的 每 一 层 。 比 如 ，Ansible 可 以 自动 化 包括 网 络 、 存 储 、OS、 中 间 件 和 应 用 程序 层 在 内 的 
所 有 配置 工作 。 


:Ansible 支 持 异 构 IT 环境 : Ansible 可 以 自动 配置 来 自 许多 供应 商 的 各 种 技术 ， 而 不 只 是 Red Hat 的 技术 。 比 如 ，Ansible 既 支持 Linux， 也 支持 Windows; Ansible 使 IT 组 织 可 以 管理 各 种 ISV 和 IHV 技 术 ， 比 如 
硬件 F5 BIG-IP 和 Citrix NetScaler 到 Amazon Web 服 务 和 Google 云 计算 平台 。 


参考 文档 http://www.infog.com/cn/news/2015/10/Red-Hat-DevOps。 


另外 ， 从 Ansible1.7 版 本 开始 ，Ansbile 加 入 了 支持 管理 Windows 系 统 的 模块 ， 限 于 篇 幅 的 原因 ， 对 此 这 里 不 做 介绍 。 有 兴趣 的 朋友 可 以 参考 官 
网 http://docs.ansible.com/ansible/list_of_windows_modules.html。 


Ansible 的 任务 执行 流程 如 图 4-1 所 示 。 


可 从 多 个 静态 文件 、 文 件 夹 、 肢 本 中 
读 取 机 器 、 分 组 及 其 变 关 联 量 信息 


从 modules 目 录 动 态 读 取 ， 
用 户 可 以 自行 开发 模块 


使 用 host-pattern \ Connection 环 节 
过 滤 机 器 列表 定义 连接 方式 
Acian 阶 自 | Callback 
plugin 
| 各 
' Lookup pluginAction  ; ' 的 钩子 
| 因 变 量 文 件 尘 资 源 的 获取 网 ， | 调 有 
| Filterplugin ) 
杂七杂八 的 过 滤 算 子 | 


图 4-1 Ansible 任 务 执行 流程 


4.1 YAML 语 言 介绍 


Ansible 里 面 的 配置 文件 是 通过 YAML 文 件 来 实现 的 ， 这 里 首先 简单 介绍 下 YAML 语 言 


YAML 是 一 个 可 读 性 高 的 用 来 表达 资料 序列 的 格式 。 它 的 主要 特点 有 : 可 读 性 高 、 语 法 简单 明了 、 表 达能 力 强 、 扩 展 性 和 通用 性 强 等 。 


为 什么 不 是 我 们 所 熟悉 的 XML 呢 ? 因为 : 


“YAML 的 可 读 性 高 。 


“YAML 和 脚本 语言 的 交互 性 好 。 


“YAML 使 用 实现 语言 的 数据 类 型 。 


“YAML 有 一 个 一 致 的 信息 模型 。 


“YAML 易 于 实现 。 


“YAML 可 以 基于 流 来 处 理 。 


“YAML 表 达能 力 强 ， 可 扩展 性 好 。 


总 之 ，YAML 试 图 用 一 种 比 XML 更 敏捷 的 方式 ， 来 完成 XML 所 完成 的 任务 。 


使 用 一 个 “-” 作 为 开头 (一 个 横 杠 和 一 个 空格 ) 。 一 


Ei 


YAML 的 语法 和 其 他 高 阶 语言 类 似 ， 并 且 可 以 简单 地 表达 列表 、 字 典 等 数据 结构 。 在 该 语法 中 ， 列 表 中 的 所 有 成 员 都 开始 于 相同 的 缩 进 级 别 ， 并 且 
个 字典 是 由 一 个 简单 的 “ 键 : 键 值 ”的 形式 组 成 的 (这 个 冒号 后 面 必须 是 一 个 空格 ) 。 


另外 ， 建 议 所 有 的 YAML 文 件 都 是 以 --- (3 个 横 杠 ) 作为 开始 行 ， 这 是 YAML 格 式 的 一 部 分 ， 表 明 是 一 个 文件 的 开始 。 


下 面 是 一 个 通用 示例 ， 文 件 内 容 如 下 所 示 : 


name: Tom Smith 


age: 37 

spouse: 
name: Jane Smith 
age: 35 

children: 

- name: Jimmy Smith 
age: 15 

- namel: Jenny Smith 
agel: 12 


上 述 示 例 表示 Tom 今 年 37 岁 ， 有 一 个 幸福 的 四 口 之 家 ， 两 个 孩子 Jimmy 和 Jenny 活 泼 可 爱 ， 妻 子 Jane 年 轻 美 狐 。 


YAML 文 件 的 扩展 名 通常 为 .yaml， 如 test.yaml， 我 们 应 如 何在 Python 下 读 取 test.yaml 文 件 呢 ? 代码 如 下 所 示 : 


#!/usr/bin/python 

# 加 载 YAML 模 块 

import yaml 

# 读 取 test .yaml 文 件 

file = open("test.yaml") 
# 导 入 文件 

X = yaml.load(file) 
Print x 


执行 这 段 代 码 ， 结 果 如 下 所 示 : 


{'age': 37, 'spouse': {'age': 25, 'name': 'Jane Smith'}, 'name': 'Tom Smith', 'children': [{'age': 15, 'name': 'Jimmy Smith'}, {'agel': 12, '‘'namel': 'Jenny Smith'}]} 


YAML 文 件 最 常见 的 层次 和 结构 ， 对 应 的 就 是 Python 中 的 列表 (list) 和 字典 (dictionary) 两 种 类 型 ， 下 面 举例 说 明 : 


- apple 
- banana 
— orange 
- Pear 


对 应 的 Python 结果 为 : 


['apple', 'banana', 'orange', 'pear'] 


稍为 复杂 的 YAML 示 例 ， 文 件 内 容 如 下 : 


node a: 
conntimeout: 300 
external: 
iface: eth0 
port: 556 
internal: 
iface: eth0 
port: 778 
broadcast: 
client: 1000 
server: 2000 

node b: 


ip: 10.0.0.1 
name: bl 

1s 

ip: 10.00.2 
name: b2 


对 应 的 Python 结果 为 : 


' 


{'node b': {0: None, ‘ip': '10.0.0.2', 'name': 'b2', 1: None}, 'node a': {'iface': 'eth0', 'port': 778, 'server': 2000, 'broadcast': None, 'client': 1000, 'external': None, "cc 


列表 和 字典 结构 也 可 以 混用 ， 例 如 下 面 的 例子 : 


# 一 位 职工 记录 
name: Example Developer 
job: Developer 
skill: plite 
employed: True 
foods : 

- Apple 

- Orange 

— Strawberry 

- Mango 
languages: 

ruby: Elite 

python: Elite 

dotnet: Lame 


对 应 的 Python 结果 为 : 


{'languages': {'python': 'Elite', 'dotnet': 'Lame', "ruby': 'Elite'}, 'foods': ['Apple', ‘'Orange', 'Strawberry', 'Mango'], 'name': 'Example Developer', 'employed' : True， 'skill 


参考 文档 https://www.ibm.com/developerworks/cn/xml/x-1103linrr/ 


参考 文档 http://docs.ansible.com/ansible/YAMLSyntax.html 


4.2 Ansible 的 安装 步骤 


Ansible 目 前 的 应 用 比较 广泛 ， 内 网 开发 环境 和 AWS 云 平台 上 面 都 有 其 应 用 。 这 里 将 以 内 网 开发 环境 来 说 明 下 ， 系 统 版 本 均 为 CentOS 6.4 x86 64，Python 版 本 为 2.6.6。 


内 网 环境 机 器 分 配 情 况 如 下 。 


192.168.1.207 主 机 名 : Ansiable.example.com， 作 用 : Ansible 主 控 端 。 


192.168.1.205 主 机 名 : client1.example.com， 作 用 : Ansible 被 控 端 机 器 。 


192.168.1.206 主 机 名 : client2.example.com， 作 用 : Ansible 被 控 端 机 器 。 


Ansible 的 安装 非常 简单 ， 安 装 步骤 如 下 。 


1) 下 载 epel 源 ， 并 通过 其 安装 Ansible， 命 令 如 下 : 


cd /usr/local/src 
wget http://ftp.linux.ncsu.edu/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm 
rpm -ivh epel-release-6-8.noarch.rpm 


2) 只 需要 在 主 控 端 机 器 上 安装 即 可 ， 其 他 被 控 端 机 器 无 需 任 何 操作 ， 命 令 如 下 : 


yum -y install ansible 


3) 安装 成 功 以 后 ， 可 以 通过 命令 查看 Ansible 的 当前 版 本 ,命令 如 下 : 


ansible --version 


命令 显示 结果 如 下 所 示 : 


ansible 1.9.4 
configured module search path = None 


这 里 显示 Ansible 的 当前 版 本 为 1.9.4。 


这 是 一 切 都 顺利 的 情况 ， 另 外 一 台 机 器 ， 由 于 将 Python 版 本 升级 至 2.7.9， 因 此 在 运行 Ansible 时 报错 如 下 : 


Traceback (most recent call last): 
File "/usr/bin/ansible", line 36, in <module> 
from ansible.runner import Runner 
ImportError: No module named ansible.runner 


这 是 因为 Ansible 还 是 基于 原先 Python2.6.6 版 本 安装 的 ， 所 以 执行 Ansible 时 会 报错 ， 此 时 将 /usr/bin/ansible 文 件 中 的 第 一 行 解释 器 #! /usr/bin/python 改 回 原版 本 #! /usr/bin/python2.6 即 可 。 


4) 将 两 台 client 机 器 添加 进 Ansible 的 webserver 组 。 


首先 我 们 注释 掉 /etc/ansible/hosts 文 件 里 的 所 有 内 容 ， 直 接 在 vim 里 执行 如 下 操作 即 可 : 


%s@^@#@ 


然后 添加 下 列 内 容 : 


192.188.1.205 
192.168.1.206 
[webserver] 

192.168.1.205 
192.168.1.206 


5) 定义 主机 与 组 规则 (Inventory) 


Ansible 通 过 定义 好 的 主机 与 组 规则 Inventory 指 定 了 Ansible 起 作用 的 主机 列表 ，Ansible 默 认 读 取 /etc/ansible/hosts 文 件 。 下 面 是 Inventory 文 件 的 一 个 例子 : 


mail .example.com 
[webservers] 

foo .example.com 

bar.example.com 
[dbservers] 

one .example.com 
two .example .com 
Three .example .com 


如 果 是 通过 pip 安 装 的 Ansible， 则 没有 默认 的 /etc/ansible/hosts 文 件 ， 需 要 手动 建立 ， 笔 者 一 般 是 建立 在 自己 的 工作 目录 下 面 ， 比 如 /home/yhc/ansible/hosts， 然 后 执行 ansible 命 令 时 通过 -i 参数 指 
定安 装 目 录 ， 如 下 所 示 : 


ansible -i /home/yhc/ansible/hosts bidgder -m ping 


其 中 ， 中 括号 内 是 组 名 称 ， 一 台 主 机 可 以 属于 多 个 组 。 一 台 属 于 多 个 组 的 主机 会 读 取 多 个 组 的 变量 文件 ， 这 样 可 能 会 产生 冲突 ， 作 为 解决 方案 的 优先 级 会 在 后 面 介绍 。 


有 一 个 主机 会 被 Ansible 默 认 地 自动 添加 到 Inventory 中 ， 那 就 是 localhost。Ansible 认 为 localhost 就 代表 本 地 主机 ， 所 以 需要 它 的 时 候 会 直接 在 本 机 执行 而 不 通过 SSH 连 接 。 


如 果 SSH 使 用 的 不 是 SSH 默 认 端 口 ， 可 以 在 主机 后 面 指定 SSH 端 口 ， 命 令 如 下 所 示 : 


badwolf .example.com:5309 


如 果 使 用 静态 IP， 希 望 在 hosts 文 件 中 使 用 别名 或 通过 通道 连接 ， 可 以 采用 类 似 如 下 的 方式 : 


jumper ansible ssh port=5555 ansible ssh host=192.168.1.50 


如 果 有 很 多 主机 名 称 类 似 ， 则 没有 必要 一 一 列 出 ， 例 如 : 


[webservers 
www[01:50] .example.com 
db- [a:f] .example.com 


其 中 数字 开头 的 0 可 以 省 略 ， 中 括号 是 闭合 的 。 


也 可 以 指定 每 个 主机 的 连接 类 型 和 用 户 名 : 


[targets] 

localhost ansible connection=local 

other1l .example.com ansible connection=ssh ansible ssh user=mpdehaan 
other2 .example.com ansible connection=ssh ansible ssh user=mdehaan 


上 面 这 些 直 接 在 Inventory 文 件 中 添加 参数 的 方式 并 不 是 一 个 很 好 的 选择 ， 后 面 会 介绍 更 好 的 方法 ， 就 是 在 单独 的 host_vars 目 录 中 定义 参数 。 


另外 ， 通 过 主机 变量 和 组 变量 的 方式 可 以 让 Inventory 文 件 更 加 灵活 。 


“主机 变量 


主机 可 以 指定 变量 ， 以 便 后 面 供 playbook 配 置 使 用 ， 例 如 下 面 定义 了 主机 host1 和 host2 上 Apache 的 参数 http_port 及 maxRequestsPerChild。 


[atlantal] 
host1 http port=80 maxRequestsPerChild=808 
host2 http port=303 maxRequestsPerChild=909 


“ 组 变量 


组 变量 的 作用 是 覆盖 组 中 的 所 有 成 员 ， 通 过 定义 一 个 新 块 ， 块 名 由 组 名 + “: vars” 组 成 ， 如 下 例 所 示 : 


[atlantal] 

host1 

host2 

[atlanta:vars] 
ntp_server=ntp.atlanta.example.com 
proxy=proxy.atlanta.example.com 


“ 组 的 组 〈 也 称 为 组 谋 套 ) 


组 嵌 套 是 通过 定义 一 个 新 块 ， 块 名 由 组 名 + “: children” 组 成 ， 如 下 例 所 示 : 


[atlantal] 
host1 
host2 
[raleigh] 
host2 
host3 
[southeast:children] 
atlanta 
raleigh 
[usa:children] 
southeast 
northeast 
southwest 
Northwest 


:分离 主 机 和 组 变量 


为 了 更 好 地 规范 定义 的 主机 和 组 变量 ，Ansible 支 持 将 hosts 文 件 定义 的 主机 名 与 组 变量 单独 分 离 出 来 ， 并 采用 YAML 格 式 存放 到 指定 的 文件 中 。 


假设 Inventory 文 件 的 路 径 为 /etc/ansible/hosts， 其 中 有 个 主机 名 为 foosbal， 属 于 raleigh 和 webservers 两 个 组 ， 那 么 以 下 位 置 的 YAML 文 件 会 对 foosball 主 机 有 效 : 


/etc/ansible/group vars/raleigh 
/etc/ansible/group vars/webservers 


/etc/ansible/host_vars/foosbal1 


例如 ，/etc/ansible/group_vars/raleigh 文 件 可 能 看 起 来 类 似 于 下 面 这 样 : 


ntp_server: acme.example.org 
database server: storage.example.org 


Ansible 1.2 及 之 后 的 版 本 中 ，group_vars 和 host_vars 目 录 既 可 以 在 playbook 目 录 下 也 可 以 在 Inventory 目 录 下 ， 如 果 两 者 都 有 ，playbook 目 录 下 的 会 覆盖 Inventory 目 录 下 的 [1]。 
6) 测试 Ansible 安 装 是 否 成 功 。 


分 别 执行 下 面 的 两 条 命令 : 


ansible 192.168.1.205 -m ping -k 
SSH password: 
ansible 192.168.1.206 -m ping -k 
SSH password: 


由 于 Ansible 主 控 端 和 被 控 端 暂时 未 配置 SSH 证 书信 任 关系 ， 所 以 需要 在 执行 Ansible 命 令 时 输入 -k 参 数 ， 此 时 需要 提供 客户 端的 root 密 码 ， 最 后 结果 显示 如 下 : 


192.168.1.205 | success >> { 
"changed": false, 


192.168.1.206 | success >> { 
"changed": false, 
"ping": "pong" 


如 果 出 现 以 上 结果 ， 则 表示 Ansible 已 经 成 功 安 装 ， 并 且 跟 客户 端 机 器 的 连接 也 是 成 功 的 。 


[由 参考 文档 : http://docs.ansible.com/ansible/index.htmln。 


4.3 利用 ssh-keygen 设 置 SSH 无 密码 登录 


线 上 的 AWS 云 计算 平台 基于 自动 化 运 维 的 原则 ，Ansible 也 被 部 署 在 跳板 机 上 ， 关 于 跳板 机 的 介绍 请 大 家 参考 第 3 章 的 内 容 ， 这 里 不 再 重复 。 其 物理 拓扑 图 如 图 4-2 所 示 。 


SS 


Administrator 


Ansible 跳 板 机 


线 上 业务 机 骨 


4-2 ”跳板 机 物理 拓扑 


为 了 方便 自动 化 运 维 ， 在 Ansible 跳 板 机 上 用 ssh-keygen 设 置 SsH 无 密码 登录 其 他 客户 端 机 器 是 很 有 必要 的 ， 具 体操 作 步 骤 如 下 。 


1) 首先 用 命令 生成 一 对 密 钥 ， 命 令 如 下 : 


ssh-keygen -t rsa 


命令 显示 结果 如 下 所 示 : 


Generating public/private rsa key pair. 

Enter file in which to save the key (/root/.ssh/id rsa): ( 回 车 ) 

Created directory '/root/.ssh'. 

Enter passphrase (empty for no passphrase): ( 回 车 ) 

Enter same passphrase again: ( 回 车 ) 

Your identification has been saved in /root/.ssh/id rsa. 

Your public key has been saved in /root/.ssh/id rsa.pub. 

The key fingerprint is: 

60:7b:a4:80:de:0d:55:d7:14:;ee:39:;fa:fd:c0:4a:cc root@Ansiable.example.com 

The key's randomart image is: 

+--[ RSA 2048]----+ 

| http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15807/0EBPS/Text/... .oo. 
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2) 然后 用 ssh-copy-id 命 令 将 公 钥 分 别 下 发 到 client1 和 client2 机 器 上 ,命令 如 下 : 


ssh-copy-id -i /root/.ssh/id rsa.pub root@192.168.1.205 


client1 机 器 结果 如 下 : 


The authenticity of host '192.168.1.205 (192.168.1.205)' can't be established. 
RSA key fingerprint is 8d:72:e5:fa:5a:c6:cl:e2:e1:00:bc:8d:6a:6f:2b:3a. 

Are you sure you want to continue connecting (yes/no)? yes 

Warning: Permanently added '192.168.1.205' (RSA) to the list of known hosts. 
root@192.168.1.205's password: 

Now try logging into the machine, with "ssh 'root@192.168.1.205'", and check in: 


.ssh/authorized keys 


to make sure we haven't added extra keys that you weren't expecting. 


需要 说 明 的 是 ， 第 一 次 运行 时 ， 要 先 输入 一 下 “yes” 进 行 公 钥 验 证 ， 后 续 无 需 再 次 输入 。 


ssh-copy-id -i /root/.ssh/id rsa.pub root@192.168.1.206 


client2 机 器 结果 如 下 : 


The authenticity of host '192.168.1.206 (192.168.1.206)' can't be established. 
RSA key fingerprint is 8d:72:e5:fa:5a:c6:cl:e2:el:00:bc:8d:6a:6f:2b:3a. 

Are you sure you want to continue connecting (yes/no)? yes 

Warning: Permanently added '192.168.1.206' (RSA) to the list of known hosts. 
root@192.168.1.206's password: 

Now try logging into the machine, with "ssh 'root@192.168.1.206'", and check in: 


‘ssh/authorized keys 


上 面 的 步骤 执行 完毕 以 后 ， 可 以 分 别 执行 下 面 的 命令 进行 验证 : 


ssh 192.168.1.205 
ssh 192.168.1.206 


因为 这 里 本 身 就 是 以 root 账 户 执行 操作 的 ， 所 以 无 需 以 root@192.168.1.205 的 命令 来 执行 ， 如 果 能 直接 以 无 密码 进入 目标 主机 就 说 明 公 钥 分 发 成 功 ， 整 个 配置 过 程 是 没有 问题 的 。 


如 果 是 AWS EC2 机 器 ， 那 么 默认 是 不 允许 root 连 接 的 (只 允许 具有 sudo 权 限 的 ec2-user 用 户 ) ， 因 此 操作 起 来 稍微 麻烦 一 些 (copy 模 块 的 用 法 下 面 会 有 介绍 ) 。 先 查看 当前 用 户 ,命令 如 下 : 


$ whoami 
ec2-user 


然后 以 ec2-user 用 户 的 身份 执行 Ansible 命 令 ， 如 下 : 


$ansible bidder -m copy 


-a "src=/usr/local/src/nagios-server.sh dest=/tmp/ owner=root group=root mode=0644 force=yes" --sudo 


这 里 稍微 说 明 下 ， 因 为 之 前 已 经 调试 好 了 nagios-server.sh， 是 利用 root 用 户 来 进行 调试 的 ， 所 以 这 里 需要 加 上 --sudo，ec2-user 用 户 是 具有 sudo 权 限 的 。 


注意 


最 后 的 --sudo 并 非 是 -sudo， 此 处 要 么 用 -s， 要 么 用 --sudo， 不 


4.4 Ansible 常 用 模块 介绍 


Ansible 有 很 多 模块 ， 包 括 去 计算、 命令 行 、 包 管理 、 系 统 服务 、 用 户 管理 等 ， 可 以 通过 官方 网 站 http://docs.ansible.com/modules_by_category.html 查 看 相应 的 模块 ， 也 可 以 在 命令 行 下 通过 
ansible-doc-| 命 令 查看 模块 ， 或 者 通过 ansible-doc-s 模 块 名 查看 具体 某 个 模块 的 使 用 方法 。 官 网 的 介绍 比较 详细 ， 建 议 查看 官网 介绍 。ansible-doc-| 命 令 的 部 分 显示 结果 如 下 所 示 : 


less comes with NO WARRANTY, to the extent permitted by law. 
For information about the terms of redistribution, 

see the file named README in the less distribution. 
Homepage: http://www.greenwoodsoftware.com/less 


al0_server 
al0_service group 
al0 virtual server 
acl 加 

add host 

airbrake deployment 
alternatives 
apache2 module 

apt 

apt_key 
apt_repository 


authorized key 
azure 

bigip facts 

bigip monitor http 
bigip monitor tcp 
bigip node 

bigip pool 

bigip pool member 
bigpanda 

boundary meter 


Manage Al0 Networks AX/SoftAX/Thunder/vThunder devices 
Manage A10 Networks AX/SoftAX/Thunder/vIhunder devices 
Manage A10 Networks AX/SoftAX/Thunder/vTIhunder devices 
Sets and retrieves file ACL information. 

add a host (and alternatively a group) to the ansible- Playbook in-memory inventory 
Notify airbrake about app deployments 
Manages alternative programs for common commands 
enables/disables a module of the Apache2 webserver 
Manages apt-packag 
Add or remove an apt key 
Add and remove APT repositories 
apt_rpm package manager 
Assembles a configuration file from fragments 
Fail with custom message 

Schedule the execution of a command or script file via the at command. 
Adds or removes an SSH authorized key 

create or terminate a virtual machine in azure 
Collect facts from F5 BIG-IP devices 

Manages F5 BIG-IP LTM http monitors 

Manages F5 BIG-IP LTM tcp monitors 

Manages F5 BIG-IP LTM nodes 

Manages F5 BIG-IP LTM pools 

Manages F5 BIG-IP LTM Pool members 

Notify BigPanda about deployments 

Manage boundary meters 


bower Manage bower packages with bower 
bzr Deploy software (or files) from bzr branches 
campfire Send a message to Campfire 
capabilities Manage Linux capabilities 
注意 


Ansible 的 模块 实现 的 行为 是 寓 等 性 (idempotence) 的 ， 只 需要 运行 一 次 playbook 就 可 以 将 需要 配置 的 机 器 都 置 为 期 望 状态 。 这 是 一 个 非常 赞 的 特性 ， 因 为 它 意味 着 向 同一 台 机 器 多 次 执行 一 个 playbook 是 
安全 的 。 


Ansible 命 令 行 调用 模块 的 语法 如 下 


ansible 操作 目标 -m 模块 名 -a 模块 参数 


下 面 将 分 别 介绍 运 维 工作 中 经 常会 用 到 13 个 模块 ， 其 他 模块 在 本 书 中 就 不 再 一 一 介绍 了 ， 具 体 详情 建议 大 家 参考 官方 文档 。 


.setup 模块 
copy 模块 

“ synchronize 模 块 
“fle 模块 

ping 模块 


“group 模 块 


' uset 模 块 

“ shell 模 块 

“ script 模 块 
“ get_utl 模 块 
“yum 模块 
.cron 模块 

“ service 模 块 


1.setup 模 块 


该 模块 可 用 于 获取 Ansible 客 户 端 机 器 的 详细 信息 ， 命 令 如 下 : 


absible webserver (机 器 组 名 ) -m setup 


命令 显示 的 部 分 结果 如 下 (完整 结果 太 详细 了 ， 这 里 只 截取 了 部 分 显示 ) : 


192.168.1.206 | success >> { 
"ansible facts": { 
"ansible all ipv4 addresses": [ 
"192.168.1.206" 
], 
"ansible all ipv6 addresses": [ 
"fe80: :216: 3eff:fe08:ea2p" 
] 


’ 
nsible architecture 
"ansible bios date" 
"ansible bios version": 
"ansible cmdline": { 
"KEYTABLE": us", 
"LANG": "en US.UTF-8", 
"SYSFONT" 
"console": "hvcO", 

"quiet": true, 

"rd _ LVM LV": "VolGroup/lv_root", 


"x86_64", 


1 


"rd_ NO DM": true, 
"rd_NO_LUI ; true, 
MD": true, 


true, 
true, 
"root": "/dev/mapper/VolGroup-lv_root" 


] 
"ansible date time": { 


’ 
"1448418484", 

hour": "02", 

"iso8601": "2015-11-25T02:28:042", 

"iso8601 micro": "2015-11-25T02:28:04.4676752", 
"minute": "28", 


"time": "02:;28:04", 


ntzn: UTC™, 
"tz_offset": "+0000", 
"weekday": "Wednesday", 


”Year "2015" 
}, 


2.copy 模 块 


该 模块 可 实现 Ansible 主 机 向 客户 端 传送 文件 的 功能 ， 类 似 于 scp， 请 大 家 记得 提前 关闭 所 有 机 器 的 SELinux 功 能 ， 不 然 会 出 现 如 下 报错 : 


192.168.1.205 | FRILED >> { 

: "dq3869c634275c17b9a0561b1lf9ac02f685353a53"， 

true, 

"msg": "Aborting, target uses selinux but python bindings (libselinux-python) aren't installed!" 


192.168.1.206 | FRILED >> { 
"checksum": "dq3869c634275c17b9a0561b1f9ac02f685353a53"， 
"failed": true, 
"msg": "Aborting, target uses selinux but python bindings (libselinux-python) aren't installed!" 


如 果 出 现 上 述 错误 ， 我 们 该 如 何 修复 呢 ? 需要 在 被 控 端 安装 libselinux-python 包 来 进行 修复 ， 命 令 如 下 所 示 : 


ansible webserver -m command -a "yum -y install libselinux-python" 


修复 错误 以 后 ， 再 次 输入 copy 模 块 的 命令 ， 如 下 : 


ansible webserver -m copy -a "src=/usr/local/src/test.py dest=/tmp/ owner=root group=root mode=0755 force=yes" 


其 他 参数 都 比较 好 理解 ， 这 里 解释 下 force 参 数 和 backup 参 数 。 
“ force: 如 果 目 标 主 机 包含 该 文件 ， 但 内 容 不 同 ， 则 设置 为 yes 后 会 强制 覆盖 ， 设 置 为 no 后 ， 只 有 当 目 标 主机 的 目标 位 置 不 存在 该 文件 时 ， 才 复制 该 文件 到 目标 主机 ; 默认 值 为 yes。 
“ backupb: 在 履 盖 之 前 备份 源 文件 ， 备 份 文件 包含 时 间 。 该 参数 有 两 个 选项 yes 和 no。 


命令 显示 结果 如 下 所 示 : 


192.168.1.206 | success >> { 
"changed": false, 
"checksum": "da39a3ee5e6b4b0d3255bfef95601890afd80709", 
"dest": "/tmp/test.py", 


"gid": 0, 

"group": "root", 
"mode": "0755", 
"owner™": "root"™, 
"Path": "/tmp/test.py", 
"size": 0， 

"state": "file"， 

maidns 0 


192.168.1.205 | success >> { 
"changed": false, 
"checksum": "da39a3ee5e6b4b0d3255bfef95601890afd80709", 
"dest": "/tmp/test.py", 


"gid": 0, 

"group": "root"™", 
"mode": "0755", 
owner™”: "root", 
"Path": "/tmp/test.py", 
"size": 0, 

"state": "file", 

"bdns 0 


注意 
copy 模 块 跟 rsync 命 令 一 样 ， 如 果 路 径 使 用 “/” 来 结尾 ， 则 只 复制 目录 里 的 内 容 ; 如 果 没有 使 用 “/” 来 结尾 ， 则 包含 目录 在 内 的 整个 内 容 全 部 被 复制 。 


3.synchronize 模 块 


由 于 synchronize 模 块 会 调用 rsync 命 令 ， 因 此 首先 要 记得 提前 安装 好 rsync 软 件 包 。 


synchronize 模 块 用 于 将 Ansible 机 器 的 指定 目录 推送 (push) 到 客户 机 器 的 指定 目录 下 ， 命 令 如 下 : 


ansible 192.168.1.206 -m synchronize -a "src=/usr/local/src/ dest=/usr/local/src/ delete=yes compress=yes " 


显示 结果 如 下 所 示 : 


192.168.1.206 | success >> { 
"changed": true, 
cmd": "rsync --delay-updates -FE --compress -~-delete-after --archive --rsh 'ssh -S none -o StrictHostKeyChecking=no' --out-format='<<CHANGED>>%i %n%L' \"/usr/local/src/\" 
: ".dhttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15807/0EBPS/Text/. .thttp://www.hzcourse.com/resource/readBook?path=/openres 
EC 0, 
"stdout lines": [ 
".dhttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15807/0EBPS/Text/. .thttp://www.hzcourse.com/resource/readBook?path=/openresour 
"<f+++++++++ epel-release-6-8.noarch,.rpm", 
MW<f+++++++++ limit.sh", 
<f+++++++++ test .py" 


其 中 ，delete=yes 用 来 实现 使 两 边 的 内 容 一 样 〈( 即 以 push 方 式 为 主 ) ， 实 现 效果 跟 rsync--delete 效 果 一 样 ， 如 果 是 客户 端 不 存在 的 文件 或 目录 则 增补 ， 如 果 存 在 着 不 同 的 文件 或 目录 则 删除 ， 以 保证 
两 边 内 容 一 致 。 


compress=yes 用 于 开启 压缩 ， 默 认为 开启 。 


另外 ， 由 于 synchronize 模 块 调用 的 是 rsync 命 令 ， 因 此 如 果 路 径 使 用 “/” 来 结尾 ， 则 只 复制 目录 里 的 内 容 ; 如 果 没 有 使 用 “/” 来 结尾 ， 则 包含 目录 在 内 的 整个 内 容 全 部 被 复制 。 


4.file 模 块 


file 模 块 主要 用 来 设置 文件 或 目录 的 属性 。 


- group: 定义 文件 或 目录 的 属 组 。 

'“ mode: 定义 文件 或 目录 的 权限 。 

owner; 定义 文件 或 目录 的 属 主 。 

path: 必 选 项 ， 定 义 文件 或 目录 的 路 径 。 

“ recurse: 递归 设置 文件 的 属性 ， 只 对 目录 有 效 。 

“ stc: 被 链接 的 源 文件 路 径 ， 只 应 用 于 state 二 link 的 情况 。 

“ dest: 被 链接 到 的 路 径 ， 只 应 用 于 state 二 link 的 情况 。 

“ force: 强制 创建 软 链接 ， 有 两 种 情况 ， 一 种 是 源 文件 不 存在 ， 但 之 后 会 建立 的 情况 ; 另 一 种 是 要 先 取消 已 创建 的 软 链接 ， 再 创建 新 的 软 链接 ， 有 两 个 选项 yes 和 no。 
“ state: 后 面 连接 文件 的 各 种 状态 ， 例 如 下 面 的 directory、link、hard、file 及 absent。 
“ link: 创建 软 链接 。 

“ hard: 创建 硬 链接 。 


' directory: 如 果 目 录 不 存在 ， 则 创建 目录 。 


“ file: 即使 文件 不 存在 ， 也 不 会 被 创建 。 
"absent: 删除 目录 、 文 件 或 链接 文件 。 
“ touch: 如 果 文 件 不 存在 ， 则 会 创建 一 个 新 的 文件 ， 如 果 文 件 或 目录 已 存在 ， 则 更 新 其 最 后 的 修改 时 间 ， 这 一 点 跟 Linux 的 touch 命 令 效果 是 一 样 的 。 


示例 一 : 将 客户 端 机 器 192.168.1.205 的 /usr/local/src/test.py 软 链接 到 /tmp/test.py 下 ， 命 令 如 下 : 


ansible 192.168.1.205 -m file -a "src=/usr/local/src/test.py dest=/tmp/test.py state=link" 


命令 显示 结果 如 下 : 


192.168.1.205 | success >> { 
"changed": true, 
"dest": "/tmp/test.py", 


"gid": 0, 
"group": "root" 
"mode" : "0777"， 


2 

: "/usr/local/src/test.py", 
"state": "link", 

"id": 0 


若 要 直接 在 Ansible 机 器 上 查看 205 机 器 是 否 存 在 /tmp/test.py 文 件 ， 可 采用 如 下 命令 : 


ansible 192.168.1.205 -m command -a '11 /tmp/test.py' 


命令 显示 结果 如 下 : 


192.168.1.205 | success | rc=0 >> 
lrwxrwxrwx 1 root root 22 Nov 25 09:13 /tmp/test.py -> /usr/local/src/test.py 


示例 二 : 将 刚刚 建立 的 /tmp/test.py 链 接 文件 删除 ， 命 令 如 下 : 


absible 192.168.1.205 -m file -a "path=/tmp/test.py state=absent" 


命令 显示 结果 如 下 : 


192.168.1.205 | success >> { 
"changed": true, 
"path": "/tmp/test.py", 
"state": "absent" 


现在 再 查看 下 是 否 还 存在 着 /tmp/test.py 文 件 ， 命 令 如 下 : 


ansible 192.168.1.205 -m command -a '11 /tmp/test.py' 


结果 为 : 


192.168.1.205 | FAILED | rc=2 >> 
ls: cannot access /tmp/test.py: No such file or directory 


结果 报错 ， 显 示 不 存在 此 文件 ， 说 明 已 经 成 功 将 其 删除 了 。 


示例 三 : 在 webserver 组 建立 /text.txt 文 件 ， 属 主 和 属 组 均 为 root， 权 限 为 0755， 命 令 如 下 : 


ansible webserver -m file -a 'path=/text.txt state=touch owner=root group=root mode=0755"' 


命令 显示 结果 如 下 所 示 : 


192.168.1.205 | success >> { 
"changed": true, 


"state": "file", 
Wid 0 


} 

192.168.1.206 | success >> { 
"changed": true, 
"dest": "/text.txt", 


"gid": 0, 
"group": "root", 
"mode": "0755", 
"owner": "root", 
"size"; 07 
"state": "file", 
"uid": 0 


示例 四 : 在 webserver 组 建立 test 目 录 ， 属 主 和 属 组 均 为 root， 权 限 为 0755， 命 令 如 下 : 


ansible webserver -m file -a 'path=/tmp/test state=directory owner=root group=root mode=0755"' 


命令 显示 结果 如 下 所 示 : 


192.168.1.205 | success >> { 
"changed": true, 
"gid": 0， 


"0755", 
"root™, 
"/tmp/test", 
4096, 
"state"; "directory", 
"uiqd": 0 


} 
192.168.1.206 | success >> { 
"changed": true, 


"gid": 0, 
"group": "root"™, 
"mode": "0755", 
srootY, 
"/tmp/test", 
4096, 
"state": "directory", 
id": 0 
} 
5.ping 模 块 


这 个 模块 前 文 曾 多 次 提 及 ， 用 于 检测 与 被 控 端 机 器 的 连通 性 ,命令 如 下 : 


ansible webserver -m ping 


6. group 模 块 


6.group 模 块 


group 模 块 可 以 在 所 有 节点 上 创建 自己 定义 的 组 ， 比 如 利用 此 模块 创建 一 个 组 名 为 test、gid 为 2016 的 组 ， 命 令 如 下 : 


ansible webserver -m group -a 'gid=2016 name=test'" 


命令 显示 结果 如 下 所 示 : 


192.168.1.206 | success >> { 
"changed": true, 


"gid"s 2016, 
"namen: "teat", 
"state": "present", 


"system": false 


} 
192.168.1.205 | success >> { 
"changed": true, 


"gid": 2016, 
"name"; "test", 
"state": "present", 


"system": false 


现在 可 以 查看 下 是 否 已 经 正常 创建 这 个 名 为 test 的 组 了 ， 执 行 如 下 命令 : 


ansible webserver -m shell -a 'cat /etc/group| grep test' 


命令 显示 结果 如 下 所 示 : 
192.168.1.206 | success | rc=0 >> 
test:x:2016: 

192.168.1.205 | success | rc=0 >> 
test:;x:2016: 


现在 ， 我 们 可 以 看 到 两 台 机 器 都 有 组 名 为 test、gid 为 2016 的 组 了 。 
注意 
此 处 用 到 了 Shell 模 块 ， 而 没有 使 用 默认 的 command 模 块 ， 是 因为 Shell 模 块 支持 管道 符 命令 ， 如 果 此 处 还 是 沿用 command 模 块 的 话 是 要 报错 的 。 


7.user 模 块 


该 模块 用 于 创建 用 户 。 在 指定 的 节点 上 创建 一 个 用 户 名 为 test、 组 为 test 的 用 户 ， 命 令 如 下 : 


ansible webserver -m user -a "name=test group=test" 


命令 显示 结果 如 下 : 


192.168.1.205 | success >> { 
"changed": true, 
"comment": my 
"createhome": true, 
"group": 100, 


"state": "present", 
"system": false, 
id"; S01 


192.168.1.206 | success >> { 
"changed": true, 


"comment": ™", 
"createhome": true, 
"group": 100, 
; "test", 
"/home/test", 
"test", 
"/bin/bash", 
+ "presernt", 
"system"; false, 


"mids S03 


删除 此 用 户 test， 可 用 如 下 命令 : 


ansible webserver -m user -a "name=test state=absent remove=yes" 


命令 显示 结果 如 下 所 示 : 


192.168.1.205 | success >> { 
"changed": true, 
": false, 
“beat"s 
true, 
"state": "absent" 


} 

192.168.1.206 | success >> { 
"changed": true, 
"force": false, 
"name": "test", 


8.shell 模 块 


command 模 块 作为 Ansible 的 默认 模块 ， 可 以 运行 被 控 端 机 器 权限 范围 内 的 所 有 Shell 命 令 ， 前 面 已 多 次 提 到 ， 这 里 不 再 重复 。 而 Shell 模 块 是 执行 被 控 端 机 器 的 Shell 脚 本 文件 ， 跟 另 一 个 模块 raw 的 功 
能 类 似 ， 并 且 支 持 管道 符 。 


比如 要 执行 webserver 组 机 器 下 的 /tmp/echo_hello.sh 文 件 ， 命 令 如 下 : 


ansible webserver -m shell -a "/tmp/echo hello.sh" 


显示 结果 如 下 : 


192.168.1.205 | success | rc=0 >> 
hello,world 
192.168.1.206 | success | rc=0 >> 
hello,world 


9.script 模 块 


script 模 块 用 于 在 远程 被 控 端 主机 上 执行 本 地 Ansible 机 器 中 的 Shell 脚 本 文件 ， 相 当 于 scp+shell 的 组 合 命 令 ， 比 如 ， 要 执行 本 地 机 器 的 /root/print_hello.sh， 命 令 如 下 : 


ansible webserver -m Script -a "/root/print hello.sh" 


命令 显示 结果 如 下 所 示 : 


192.168.1.205 | success >> { 
"changed": true, 
Neats "Qs 
"stderr": "OpenSSH 5.3pl, OpenSsL 1.0.1e-fips 11 Feb 2013\ndebugl: Reading configuration data /etc/ssh/ssh config\r\ndebugl: Applying options for *\r\ndebugl: auto-mux: Try 
"stdout": "hello,world\r\n" 


} 
192.168.1.206 | success >> { 
"changed": true, 
WO De 
"stderr": "OpenSSH 5.3pl, OpenSsL 1.0.1e-fips 11 Feb 2013\ndebugl: Reading configuration data /etc/ssh/ssh config\r\ndebugl: Applying options for *\r\ndebugl: auto-mux: Try 
"stdout": "hello,world\r\n" 


10.get_url 模 块 


get_url 模 块 可 以 实现 在 远程 主机 上 下 载 url 到 本 地 ， 这 个 模块 应 该 在 平时 的 工作 中 用 得 比较 多 ， 比 如 ，webserver 组 的 被 控 端 机 器 需要 下 载 http://ftp.linux.ncsu.edu/pub/epel/6/x86_64/epel- 
release-6-8.noarch.rpm 文 件 到 /tmp 目 录 下 ， 命 令 如 下 : 


ansible webserver -m get url -a 'url= http://ftp.linux.ncsu.edu/pub/epel/6/x86 64/epel-release-6-8.noarch.rpm dest=/tmp' 


命令 显示 结果 如 下 所 示 : 


192.168.1.206 | success >>{ 
"changed": true, 
"checksum": "2b2767a5ae0de30b9c7b840f2e34f5dd9deafl9a", 
"dest": "/tmp/epel-release-6-8.noarch.rpm", 
WO Oy 


root"™, 
"2cd0ae668a585al4e07c2ea4f264d79b", 
"mode": "0644", 

"msg": "OK (14540 bytes)", 

owner":; "root™, 

"sha256sum": "™, 

"size": 14540, 

"src": "/tmp/tmp41ZkbI", 

: "file", 


wid": 0, 
"url": "http://ftp.linux.ncsu.edu/pub/epel/6/x86 _64/epel-release-6-8.noarch.rpm" 


192.168.1.205 | success >> { 
"changed": true, 
"checksum": "2b2767a5ae0de30b9c7b840f2e34f5dd9qdeaf19a"， 
"dest": "/tmp/epel-release-6-8.noarch.rpm", 
"gid": 0， 


TOOL™; 
"2cd0ae668a585al4e07c2ea4f264d79b", 
"0644", 

: "OK (14540 bytes)", 

Owner": "root™, 

nrsha256SUmn : "my 

"size": 14540, 


二 tmp/tmp5j3tus", 
"state": "file", 
"uid"; 0 


’ 
"url": "http://ftp.linux.ncsu.edu/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm" 


11.yum 模 块 


顾名思义 ，yum 模 块 是 用 来 管理 Linux 平 台 的 软件 包 操作 的 。 


“config file: yum 的 配置 文件 。 
“ disable_gpg_check: 关闭 gpg_check。 


“ disablerepo: 不 启用 某 个 


“ enablerepo: 启用 某 个 
“ name: 要 进行 操作 的 软件 包 的 名 字 ， 也 可 以 传递 一 个 ud 或 一 个 本 地 的 rpm 包 的 路 径 。 


"state: Present|absent|latest，state 状 态 对 应 了 3 种 软件 包 状态 ， 这 里 present 和 latest 都 表示 安装 ， 而 absent 则 表示 移 除 。 


若 要 在 指定 的 被 控 端 机 器 192.168.1.206 上 面 用 Nginx 的 yum 源 安装 Nginx 软 件 包 ， 可 采用 如 下 命令 : 


ansible 192.168.1.206 -m yum -a 'name=nginx enablerepo=nginx state=present" 


显示 结果 如 下 : 


192.168.1.206 | success >> { 
"changed": true, 


msg™: "mv 
Ne Os 
"results": [ 


"Loaded plugins: fastestmirror\nSetting up Install Process\nLoading mirror speeds from cached hostfile\n * base: mirrors.163.com\n * extras: mirror.bit.edu.cn\n * updat 


] 


可 以 通过 如 下 命令 查看 软件 包 是 否 通过 Nginx 源 安装 的 : 


ansible 192.168.1.206 -m shell -a 'yum list installed | grep nginx' 


显示 结果 如 下 : 


192.168.1.206 | success | rc=0 >> 
nginx.x86 64 1.8.0-1.el6.ngx @nginx 


其 实 也 可 以 用 命令 查看 yum 模 块 的 帮助 文件 ， 它 本 身 就 提供 了 强大 的 案例 参考 ， 命 令 如 下 : 


ansiable-doc yum 


示 结 果 如 下 所 示 (显示 结果 较 多 ， 只 摘 取 了 Examples 部 分 的 内 容 ) : 


EXAMPLES: 
=- name: install the latest version of Apache 
yum: name=httpd state=latest 
— name: remove the Apache package 
yum: name=httpd state=absent 
=- name: install the latest version of Apache from the testing repo 
yum: name=httpd enablerepo=testing state=present 
— name: install one specific version of Apache 
yum: name=httpd-2.2.29-1.4.amznl state=present 
- name: Upgrade all packages 
yum: name=* state=latest 
— name: install the nginx rpm from a remote repo 
yum: name=http://nginx.org/packages/centos/6/noarch/RPMS/nginx-release-centos-6-0.el16.ngx.noarch.rpm state=present 
— name: install nginx rpm from a local file 
yum: name=/usr/local/src/nginx-release-centos-6-0.el16.ngx.noarch.rpm state=present 
- name: install the 'Development tools' package group 
yum: name="@Development tools" state=present 


12.cron 模 块 


cron 模 块 ， 顾 名 思 义 就 是 创建 计划 任务 ， 可 以 定义 webserver 组 被 控 端 机 器 每 天 凌晨 1 点 过 1 分 ntpdate 自 动 对 时 ， 命 令 如 下 所 示 : 


nm 


ansible webserver -m cron -a '"name=ntpdate time every day" minute="1" hour="1" job="/sbin/ntpdate ntp.api.bz >> /dev/null"™"' 


这 里 定义 的 name 是 标记 计划 任务 ， 可 以 通过 此 标记 删除 或 更 改 计划 任务 ， 命 令 显示 结果 如 下 : 


192.168.1.205 | success >>{ 
"changed": true, 
Js | 
"ntpdate time every day" 
] 


192.168.1.206 | success >> { 
"changed": true, 
"js"s [ 
"ntpdate time every day" 
] 


详细 语法 可 以 参考 ansiable-doc cron， 这 里 不 再 重复 命令 显示 结果 。 
13.service 模 块 


被 控 端 服务 管理 ， 例 如 开启 、 关 闭 、 


启 服务 等 。 


示例 一 : 在 webserver 端 开启 Nginx 服 务 ， 命 令 如 下 : 


ansible webserver -m service -a "name=nginx state=started" 


示例 二 : 将 httpd 服 务 加 入 webserver 端 的 启动 项 ,命令 如 下 : 


ansible mysql -m service -a 'name=mysqld state=started enabled=yes' 


法 也 并 不 复杂 ， 大 家 可 以 对 应 官方 案例 学 习 其 


其 他 常用 模块 ， 在 这 里 就 不 


列举 了 ， 大 家 可 以 参考 Ansible 官 方 文档 。 


4.5 ”playbook 介 绍 


playbook 是 一 个 不 同 于 Ansible 命 令 行 执行 方式 的 模式 ， 其 功能 更 为 强大 灵活 。 简 而 言 之 ， 它 是 一 个 非常 简单 的 配置 管理 和 多 主机 部 署 系统 。playbook 是 由 一 个 或 多 个 “play” 组 成 的 列表 。play 的 主 


要 功能 在 于 将 事先 归 为 一 组 的 主机 装扮 成 通过 Ansible 中 的 task 事 先 定义 好 的 角色 。 从 根本 上 来 讲 ， 所 谓 的 task 就 是 调用 Ansible 的 一 个 个 模块 将 多 个 play 组 织 在 一 个 playbook 中 ， 这 样 就 可 以 让 它们 联通 起 
来 按 事先 编排 的 机 制 同 唱 一 台大 戏 。 


playbook 的 模板 是 使 用 Python 的 jinja2 模 块 来 处 理 的 。 学 习 过 Saltstack 的 朋友 对 此 模板 应 该 是 比较 熟悉 的 。 另 外 ，playbook 也 是 通过 YAML 格 式 来 进行 描述 定义 的 ， 可 以 实现 多 人 台 主 机 的 应 


下 面 先 来 看 一 人 Ansible 官 方 网 站 的 一 个 案例 ， 以 举例 说 明 playbook 的 用 法 。 


语法 ， 官 方 网 站 提供 了 大 量 的 案例 ， 其 地 址 为 https://github.com/ansible/ansible-examples。 


部 署 , 语 


# 选 择 的 主机 组 
— hosts: webserver 
# 定 义 的 变量 
Vars: 
user: WwW 
group: www 
maxclients: 2000 
DocumentRoot: /var/waw/html 
# 远 端的 执行 权限 
remote user: root 
#task 是 定义 任务 列表 
tasks: 
# 利 用 yum 模 块 来 操作 
— name: ensure apache is at the latest Version 
# 建 议 每 个 任务 事件 都 要 定义 一 个 name 标 签 ， 这 样 做 既 增强 了 可 读 性 ， 又 便于 观察 结果 输出 。 
yum: pkg=httpd state=latest 
- name: Apache Config File 
template: src=/home/yhc/apache/httpd.conf.j2 dest=/etc/httpd/conf/httpd.conf 
#src 为 Ansible 主 控 端 模 块 存放 位 置 ，dest 为 被 控 端 httpd 配 置 文件 位 置 
# 触 发 重启 服务 器 
notify: 
- restart apache 
- name: ensure apache is running 
service: name=httpd state=started 
# 这 里 的 restart apache 和 上 面 的 触发 是 配对 的 ,这 就 是 handlers (处 理 程序 ) 的 作用 。 
handlers: 
- name: restart apache 
service: name=httpd state=restarted 


模板 文件 /home/yhc/apache/httpd.conf.j2 可 参考 官方 案例 ， 建 议 以 2 结尾 ， 表 明 这 是 一 个 经 过 jinja2 模 板 泻 染 的 文件 ， 并 且 存 放 在 名 为 templates 的 子 目录 中 。 


定义 的 变量 最 好 跟 模板 文件 /home/yhc/apache/httpd.confj2 中 的 变量 一 一 对 应 ， 不 然后 面 执行 ansible-playbook 时 会 报错 ， 由 于 模板 文件 内 容 太 长 ， 这 里 只 摘录 跟 变 量 相对 应 的 内 容 ， 如 下 : 


User {{ user}} 

Group {{ group}} 

DocumentRoot "{{DocumentRoot}}" 
MaxClients {{maxclients}} 


语法 简单 明了 ，YAML 文 件 中 的 变量 以 “{{ 变 量 名 }” 表 示 ,， 该 文件 若 写 得 过 于 复杂 ， 就 会 有 语法 错误 的 问题 ， 可 以 采 F 


如 下 方式 检查 语法 错误 : 


ansible-playbook /home/yhc/httpd.yml --list-hosts --list-tasks 
playbook: /home/yhc/httpd.yaml 
play #1 (webserver): host count=2 
192.168.1.205 
192.168.1.206 
play #1 (webserver): TAGS: [] 
ensure apache is at the latest version TAGS: [] 
write the apache config file TAGS: [] 
ensure apache is running TAGS: [] 


执行 我 们 预先 写 好 的 YAML 文 件 ， 路 径 为 /home/yhc/httpd.yml， 命 令 如 下 : 


ansible-book /home/yhc/httpd.yml -f 10 


显示 结果 如 下 所 示 : 


PLAY [WEDSE@IVEI] 光 炎 亦 炎炎 六 亦 内 庙 闪闪 闪闪 次 交 交 交 次 交 商 闪 六 内 闪 轴 闪 次 次 次 次 交 次 商 交 次 次 六 闪 六 六 闪 交 交 交 次 次 次 交 次 次 交 庙 大 六 六 六 六 
GATHERITNG FACTS 火炎 火炎 交火 奖 六 交 关 奖 类 交 六 闪光 六 次 类 次 太 次 闫 次 交 次 奖 交 交大 奖 关 交 尖 闪光 认 交 关 交 六 次 闫 次 闪 关 奖 交 交大 奖 六 交大 奖 次 闪 炎 六 次 六 闪 
ok: [192.168.1.205] 

ok: [192.168.1.206] 

TASK: [ensure apache is at the latest version] **W 光 家 几 训 光 大风 由 轴 风 娄 雪 站 光 宙 光 风 实 央 四 宙 
ok: [192.168.1.206] 

ok: [192.168.1.205] 

TASK: [Write the apache Config fi1@] ** 炎 大 炎炎 大 炎炎 六 炎 交 交 光 交 次 类 商 关 次 炎炎 交 炎 次 关 光 次 炎 次 次 太 克 交大 太 克 克 
changed: [192.168.1.205] 

changed: [192.168.1.206] 

TASK: [ensure apache js TUNNINnGg] ** 炎 炎炎 炎炎 关 类 商 大大 次 六 炎 交 次 涡 交 次 类 册 大 光 炎炎 次 炎 次 次 关 光 次 炎 次 交 大 交 六 六 克 克 
ok: [192.168.1.205] 

ok: [192.168.1.206] 

NOTIFIED:; [restart apaChe] * 炎 炎炎 炎炎 类 大 尖 次 类 交 次 区 交 交 六 次 关 炎 次 类 问 次 大奖 次 六 次 次 问 交 类 商 关 次 区 交大 
changed: [192.168.1.205] 

changed: [192.168.1.206] 

PLAY RECRAE 天 汪 太 大 类 火 六 六 大 大 六 六 六 六 交大 大 次 六 六 闪 关 六 次 闫 六 交大 大 次 六 六 并 次 六 次 闫 六 交大 大 次 六 六 闪 交 六 次 关 六 交 交 关 次 六 六 奖 交 六 次 关 光大 大 次 六 六 
192.168.1.205 : Ok=5 changed=2 unreachable=0 failed=0 
192.168.1.206 : Ok=5 changed=2 unreachable=0 failed=0 


ansible-playbook 后 面 紧 跟着 的 就 是 我 们 所 写 的 /home/yhc/httpd.yml 文 件 ， 它 的 默认 并 行进 程 数 为 5， 可 以 带 上 参数 -f 10 或 更 大 的 数值 以 提高 并 行进 程 数 。 


playbook 文 件 的 详细 说 明 


(1) 定义 主机 和 用 户 


每 份 playbook 文 件 都 需要 指定 针对 哪些 主机 进行 运 维 ， 而 hosts 变 量 则 说 明了 这 个 问题 ，users 则 说 明了 采用 哪个 用 户 执行 这 条 命令 。 


针对 webserver 主 机 组 ， 这 里 采用 root 用 户 执行 命令 ， 代 码 如 下 : 


— hosts: webservers 
remote user: root 


如 果 是 AWS EC2 主 机 ， 可 以 采 | 


sudo 模 式 执行 命令 ， 代 码 如 下 : 


— hosts: webservers 
remote User: ec2-user 
sudo: yes 


(2) 任务 列表 


每 一 个 playbook 都 会 有 一 份 任务 列表 (tasks list) ， 说 明 究竟 要 按照 怎样 的 顺序 去 执行 这 些 命令 (从 上 至 下 ， 依 照 顺 序 执行 task) 。 


使 


service 模 块 的 命令 如 下 : 


tasks: 
- name: make sure apache is running 
service: name=httpd state=running 


使 用 command 模 块 的 命令 如 下 : 


tasks: 
- name: disable selinux 
command: /sbin/setenforce 0 


使 用 shell 模 块 的 命令 如 下 : 


tasks: 
- name: run this command and ignore the result 
shell: /usr/bin/somecommand || /bin/true 
使 用 copy 模 块 的 命令 如 下 : 
tasks: 


- name: Copy ansible inventory file to client 


copy: 


src=/etc/ansible/hosts dest=/etc/ansible/hosts 


Owner=root group=root mode=0644 


使 


template 模 块 的 命令 如 下 : 


tasks: 


- name: create a virtual host file for {{ vhost }} 
template: src=somefile.j2 dest=/etc/httpd/conf.d/{{ vhost }} 


(3) handlers 


当 被 控 端 主机 配置 文件 发 生变 化 以 后 ， 通 知 处 理 程序 handlers 来 触发 后 续 的 动作 ， 比 如 一 


启 Apache 服 务 。 在 没有 通知 触发 时 handlers 中 定义 的 处 理 程序 是 不 会 执行 的 ， 触 发 是 通过 handlers 定 义 的 


name 标 签 来 识别 的 ， 比 如 下 面 的 notify 中 的 “restart apache” 和 handlers 中 的 “name: restart apache” 内 容 请 保持 一 致 。 


notify: 
— restart apache 
- name: ensure apache is running 
service: name=httpd state=started 
handlers: 
- name: restart apache 
service: name=httpd state=restarted 


下 面 简 单 介 绍 下 playbook 的 条 件 语句 与 循环 ， 语 法 非常 简单 ， 直 接 通过 示例 即 可 说 明 。 


条 件 语句 when 的 示例 如 下 : 


tasks: 

—- name: reboot redhat host 

command: /usr/sbin/reboot 

when: ansible os family 一 "RedHat" 


循环 语句 的 示例 如 下 : 


tasks: 
- name: install LNMP 
yum: name={{ item }} state=present 
with items: 
- nginx 
- mysql-server 
- php-fpm 


循环 还 支持 列表 ， 使 用 的 是 with_flattened 语 句 。 


变量 文件 的 示例 如 下 : 


Packages_LNMP: 
- [ 'nginx', 'mysql-server', 
- name: Install LNMP 
yum: name={{ item }} state=present 
with flattened: 
- packages_ LNMP 


'Php-fpm' ] 


引用 


关于 playbook 文 件 的 更 多 说 明 可 参考 文档 http://docs.ansible.com/playbooks_roles.html。 


工作 中 经 常会 有 这 样 一 个 需求 : 被 控 机 上 有 3 个 
下 所 示 : 


用 户 (yhc、admin 和 readonly) ， 分 别 对 应 3 套 公私 钥 


(分 别 对 应 不 同 的 权限 ) ， 需 要 用 Ansible 主 控 端 进行 公 钥 推送 。 这 时 ，ssh-copy-id.yml 文 件 如 


# Using alternate directory Locations : 
— hosts: webserver 
user: root 
tasks: 
- name: ensure users is present 
user: name={{ item }} state=present 
with items: 
- yhc 
- admin 
- readonly 
name: ssh-copy-id user yhc 
authorized key: user=yhc key='{{ lookup('file', '/home/yhc/ansible/ssh-copy-id/example-master.pub') }}' 
— name: ssh-copy-id user admin 
authorized key: user=admin key='{{ lookup('file', '/home/yhc/ansible/ssh-copy-id/example-operation.pub') }}" 
- name: ssh-copy-id user teadonl: 
authorized key: user=readonly key='{{ lookup('file', '/home/yhc/ansible/ssh-copy-id/example-readonly.pub') }} 


1 


authorized_key 是 Ansible 官 方 新 出 的 一 个 模块 ， 作 用 为 添加 或 删除 用 户 SSH 公 钥 (adds or removes an SSH authorized key) ， 这 里 主要 用 于 添加 用 户 公 钥 ， 详 细 说 明 请 参 


: http://docs.ansible.com/ansible/authorized_ key module.html。 


加 


如 果 Ansible 部 署 在 AWS EC2 主 机 上 ， 则 默认 是 不 允许 root 进 行 SSH 的 ， 并 且 root 不 提供 密码 ， 因 此 这 里 需要 用 一 个 有 sudo 权 限 的 用 户 来 执行 ， 默 认 用 户 一 般 是 ec2-user。 


需要 注意 的 是 ， 这 里 的 公 钥 文件 全 部 都 在 Ansible 主 控 机 器 的 /home/yhc/ansible/ssh-copy-id 目 录 下 ， 而 且 不 必 担 心 被 控 机 器 端的 .ssh 目 录 是 否 建立 、authorized 文 件 权限 是 否 为 600 等 ， 这 些 全 部 由 


authorized key 模 块 全 自动 完成 ， 是 不 是 很 人 性 化 呢 ? 


此 时 的 ssh-copy-id 文 件 调整 如 下 : 


— hosts: bidder 
user: ec2-user 
sudo: yes 
tasks: 
- name: ensure users is present 
user: name={{ item }} state=present 
with items: 
- bilin 
- readonly 
sudo:yes 
=- name:ssh-copy-id user bilin 
authorized key: user=bilin key='{{ lookup('file', '/home/yhc/ansible/ssh-copy-id/example-operation.pub') }}"' 
name:ssh-copy-id user readonly 
authorized key: user=readonly key='{{ lookup('file', '/home/yhc/ansible/ssh-copy-id/example-readonly.pub') }}"' 


可 用 如 下 命令 执行 ssh-copy-id.yml 文 件 ， 如 下 所 示 : 


ansible-playbook -i hosts ssh-copy-id.yml 


在 被 控 端 机 器 上 进行 检查 ， 可 发 现 公 钥 都 已 经 正确 分 发 了 ， 而 且 权限 自动 地 分 配 成 了 600 权 限 ， 在 主 控 端 上 切换 相应 的 用 户 ，SSH 登 录 也 是 正常 的 ， 说 明 整 个 配置 过 程 是 没有 问题 的 。 


4.6 角色 


Ansible 的 角色 (roles) 是 1.2 版 本 引入 的 新 特性 ， 用 于 层次 性 结构 地 组 织 playbook。 角 色 能 够 根据 层次 性 结构 自动 装载 vars 变 量 文件 、tasks 及 handlers 等 。 下 面 将 采用 角色 来 差异 性 地 配置 webserver 


组 的 Nginx 服 务 ， 被 控 端 机 器 具体 配置 信息 如 表 4-1 所 示 。 


表 4-1 被 控 端 机 器 详细 配置 表 


192.168.1.205 clientl.example.com 4 


这 里 要 注意 区 别 一 下 ， 被 控 端 主机 205 的 CPU 核 数 为 4， 被 控 端 主 机 206 的 CPU 核 数 为 2。 下 面 将 利用 Ansible 的 角色 功能 差异 化 地 配置 被 控 端 的 Nginx 配 置 文 件 。 这 里 是 将 配置 文件 放置 
在 /home/yhc/ansible/nginx 目 录 下 ， 其 目录 结构 如 下 : 


kt 


nginx |—— hosts | 一 一 zoles | 上 一 common | lies | 一 一 epel-release-6-8.noarch.rpm | | 


epel .repo | | | 一 一 handlers | 


其 中 ， 

“site.yml 文 件 : 为 全 局 配置 文件 ， 一 般 来 说 ， 由 此 文件 来 引用 角色 ， 通 过 hosts 参 数 来 绑 定 角色 对 应 的 主机 或 组 。 

“ hosts 文 件 : 非 必 选 配置 ， 用 来 指定 主机 或 组 ， 默 认 将 引用 /etc/ansible/hosts 文 件 ， 通 过 -i 参数 来 调用 ,例如 : ansible-playbook-i hosts。 

“common 角 色目 录 : 此 外 添加 了 一 个 公共 类 角色 common， 一 般 作用 于 被 控 端 机 器 ， 主 要 用 于 系统 的 基础 服务 ， 例 如 添加 epel 源 、ntpdate 自 动 对 时 、sysctl 内 核 优化 等 。 
“nginx 目录 : 用 于 Nginx 角 色目 录 。 

“ files 目 录 : 存放 有 copy 或 script 等 模块 调用 的 文件 。 

“ vars 目录 : 定义 playbook 运 行 时 需要 使 用 的 变量 。 

: templates 目录: template 模 块 会 自动 在 此 目录 中 导 找 jinja2 模 板 文件 并 浑 染 。 

“ handlers 目 录 : 此 目录 中 应 当 包 含 一 个 main.yml 文 件 ， 用 于 定义 各 角色 用 到 的 各 个 handlers 动 作 。 

* tasks 目 录 : 此 目录 中 至 少 要 包含 一 个 名 为 main.yml 的 文件 ， 用 于 定义 此 角色 的 任务 列表 ， 可 使 用 include 指 令 。 


1.site.yml 文 件 


site.yml 文 件 内 容 如 下 : 


- name:configure and deploy the webserver 
hosts:webserver 

roles: 

— common 

—- nginx 


2.hosts 文 件 


hosts 文 件 内 容 如 下 所 示 : 


[webserver] 
192.168.1.205 
192.168.1.206 


语法 和 内 容 基本 跟 /etc/ansible/hosts 一 样 ， 这 里 就 不 再 详细 描述 了 。 


3.common 角 色目 录 


common 角 色目 录 对 应 了 3 个 子 目 录 : files、tasks 和 handles 目 录 。 


files 目 录 下 有 epel.repo 文 件 ， 方 便利 用 copy 模 块 推送 至 各 控制 端 机 器 ， 因 为 CentOS 官 方 源 并 没有 提供 Nginx 的 安装 ， 所 以 这 里 采用 epel 进 行 安装 ，epel.repo 文 件 内 容 如 下 所 示 : 


[epell] 

name=Extra Packages for Enterprise Linux 6 - $basearch 

baseurl=http://download. fedoraproject .org/pub/epel/6/$basearch 
#mirrorlist=https://mirrors.fedoraproject .org/metalink?repo=epel-6&arch=$basearch 
failovermethod=priority 

enabled=1 

gpgcheck=1 

gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-6 

[epel-debuginfo] 

name=Extra Packages for Enterprise Linux 6 - $basearch - Debug 
#baseurl=http://download. fedoraproject .org/pub/epel/6/$basearch/debug 
mirrorlist=https://mirrors.fedoraproject .org/metalink?repo=epel-debug-6&arch=$basearch 
failovermethod=priority 

enabled=0 

gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-6 

gpgcheck=1 

[epel-source] 

name=Extra Packages for Enterprise Linux 6 - $basearch - Source 
#baseurl=http://download. fedoraproject .org/pub/epel/6/SRPMS 
mirrorlist=https://mirrors.fedoraproject .org/metalink?repo=epel-source-6&arch=$basearch 
failovermethod=priority 

enabled=0 

gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-6 

gpgcheck=1 


tasks 目 录 下 有 main.yml 文 件 ， 内 容 如 下 : 


— name: Copy the EPEL repository definition 
copy: src=epel.repo dest=/etc/yum.repos.d/epel.repo 
- name: Create the GPG key for EPEL 
command: rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-6 


handlers 目 录 目 前 无 文件 ， 是 空 目录 ， 因 为 执行 的 copy 和 command 命 令 无 须 handlers 启 动 服务 或 重启 机 器 ， 所 以 此 目录 暂时 为 空 。 虽 然 是 空 目 录 ， 但 建议 保留 。 


4.Nginx 角 色目 录 


Nginx 角 色目 录 对 应 3 个 子 目 录 : tasks、templates 和 handlers 目 录 。templates 目 录 中 nginx.conf.j2 文 件 内 容 如 下 : 


user nginx; 

worker processes {{ ansible processor cores }}; 
{$$ if ansible processor cores 一 2 $%} 
worker cpu affinity 01 10; 

{% elif ansible processor cores 一 4 $%} 


worker cpu affinity 1000 0100 0010 0001; 
{% elif ansible processor cores >= 8 %} 
worker cpu affinity 00000001 00000010 00000100 00001000 00010000 00100000 01000000 10000000; 
务 else %} 
worker cpu affinity 1000 0100 0010 0001; 
{% endIf %] 
worker rlimit nofile 65535; 
events { 
use epoll; 
worker connections 51200; 
} 
http { 
include /etc/nginx/mime.types; 
default type application/octet-stream; 
log format main '$remote addr - $remote user [$time local] "$request" ' 
'$status $body bytes sent "$http referer" ' 
'"$http user agent" "“$http x forwarded for"'; 
access log /var/log/nginx/access.log main; 


sendfile on; 
#tcp_ nopush on; 
keepalive timeout 65; 
#gzip on; 


include /etc/nginx/conf.d/*.conf; 


在 这 个 文件 中 ，ansible_processor_cores 变 量 是 通过 Facts 组 件 获取 到 的 ， 它 在 Ansible 中 是 非常 有 用 的 组 件 ， 用 于 获取 被 控 庙 主机 的 系统 信息 ， 包 括 主机 名 、 操 作 系统 、 分 区 信息 、 硬 件 信息 等 ， 所 以 
能 够 轻易 地 获取 CPU 核 数 ， 也 可 以 通过 运行 ansible 192.168.1.206-m setup 命 令 来 获取 206 被 控 庙 机 器 的 完整 Facts 信 息 ， 命 令 显示 的 部 分 结果 如 下 ( 因 内 容 过 多 ， 这 里 只 截取 部 分 内 容 ) : 


192.168.1.206 | success >> { 
"ansible facts": { 
"ansible all ipv4 _ addresses": [ 
"192.168.1.206" 
] 


’ 
"ansible all ipv6 addresses": [ 

"fe80:; :216:3eff:fe08:ea2b" 
] 


1 
"ansible architecture": "x86 64", 
"ansible bios date": "", 
"ansible bios version": 
"ansible cmdline": { 
"KEYTABLE": "us", 


1 


"LANG": "en US.UTF-8", 
"SYSFONT": "latarcyrheb-sun16", 


"console": "hvcO"™", 
"quiet": true, 
"rd _ LVM LV": "VolGroup/lv_root", 


"rd_NO DM": true, 

"rd_ NO_ LUKS": true, 

"rd NO MD": true, 

qi true, 

true, 

"root": "/dev/mapper/VolGroup-lv_root" 


}, 
"ansible date time": { 
"OLS-11 -29*; 


’ 


"iso860l": *2015~11-290712:16:392"; 
"iso8601 micro" : "2015-11-29T12:16:39.6482092", 


WE “LS™ 
"month™" I 
"Seco We 
"time vole 
ntzn: UTC™, 
"tz_offset 
"weekday" : 

"year": "2015" 


] 


我 们 可 以 通过 管道 符 命令 来 获取 所 需要 的 Facts 信 息 ， 例 如 CPU 核 数 ， 命 令 如 下 所 示 : 


ansible 192.168.1.206 -m setup | grep ansible processor cores 


命令 显示 结果 如 下 所 示 : 


ansible processor cores": 2, 


还 可 以 通过 此 命令 来 获取 被 控 端 FQDN 完 整 名 ， 并 将 其 作为 Apache 配 置 文件 中 的 ServerName 参 数值 ， 命 令 如 下 所 示 : 


"ansible fq : "client2.example.com", 


tasks 目 录 中 的 main.yml 文 件 内 容 如 下 所 示 : 


- name: ensure nginx is thd lastest version 
yum: name=nginx state=lastest 

- name: Copy nginx configuration 
template: src=nginx.conf dest=/etc/nginx/nginx.conf 
notify: restart nginx 

— name: ensure nginx is running 

service: name=nginx state=started 


handlers 目 录 中 的 main.yml 文 件 内 容 如 下 : 


- name: restart nginx 
service: name=nginx state=restarted 


运行 角色 ， 命 令 如 下 : 


cd /home/yhc/ansible/nginx 
ansible-playbook -I hosts site.yml 


命令 显示 结果 如 下 所 示 : 


PLAY [WEJDSErVEI] 太 * 炎 太太 炎炎 太太 交 交大 六 交 交 太太 次 次 六 六 次 次 六 六 次 次 太太 次 次 六 六 次 次 六 六 次 次 六 六 次 次 六 六 次 次 太太 交 次 六 六 交 次 六 六 交 次 太太 
GATHERING FACTS * 炎 淡淡 火 太 大 关 光大 炎 闪 次 磋 炎 闪 炎 交 闪闪 交大 炎 闪 次 磋 交 闪 炎 六 闪 闫 次 闪 炎 闪闪 磋 交 闪 炎 交大 类 次 六 类 闪闪 磋 交 闯关 交大 类 次 认 六 大 交大 大 


ok: [192.168.1.205] 

ok: [192.168.1.206] 

TASK: [common | Copy the EPEL repository definition] ek 灾 直 光 灾 克 尖 交 寂 淆 由 办 光 灾 宙 光 类 丰 由 
ok: [192.168.1.205] 

ok: [192.168.1.206] 

TASK: [common | Create the GPG key fOr BPEL] «ww** 灾 站 尖 六 奖 光 尖 训 实 类 兴 宙 光 克 央 闪 实 害 尖 认 实 奖 尖 光 光大 内 
changed: [192.168.1.205 
changed: [192.168.1.206 
TASK: [nginx | ensure nginx i8 thd latest version] ww 家 十 加 赤 尖 者 业 认 波 才 志 灰 尖 尖 小 训 窗 雪山 光源 灾 洛 
changed: [192.168.1.206 
changed: [192.168.1.205 
TASK: [nginx | Copy nginx configuratiOn] ** 炎 大 炎炎 大 炎炎 六 大 交 次 涡 奖 次 类 商 关 光大 交 交 炎炎 次 关 炎 交 次 炎 次 软 大 
changed: [192.168.1.206 
changed: [192.168.1.205 
TASK: [nginx | ensure nginx jis TUnningg] 大 六 炎炎 大 炎炎 赤 炎炎 炎 天 炎炎 赤 大 炎炎 天 大 天 赤 灾 天 炎炎 天 夫 炎 炎 大 炎炎 天 天 
changed: [192.168.1.206 
changed: [192.168.1.205 
NOTIFIED: [nginx | restart nginX] 炎炎 炎炎 闪 关 类 交大 六 类 交 交火 交 交 太 炎 交 次 六 炎 交 六 交 交 次 光 交 克 关 次 克 罗 类 交 太太 
changed: [192.168.1.206 
changed: [192.168.1.205 
PLAY RECRAE 玉米 六 大 六 火 六 六 大 大 六 类 六 六 交大 类 次 六 六 闪 交 六 交大 六 交大 关 次 六 六 闪 交 六 次 关 六 交大 关 次 六 六 碳 交 六 交大 六 交大 大 次 六 六 大 次 六 大 大 六 交大 大 次 六 大 
192.1688.1.205 : ok=7 changed=5 unreachable=0 failed=0 
192.168.1.206 : ok=7 changed=5 unreachable=0 failed=0 


现在 来 检查 下 webserver 组 两 台 机 器 的 Nginx 配 置 文 件 ， 命 令 如 下 : 


ansible webserver -m command -a 'cat /etc/nginx/nginx.conf' 


如 果 命令 结果 如 下 ， 则 表示 配置 是 成 功 的 : 


192.168.1.206 | success | rc=0 >> 
user nginx; 
worker processes 2; 
worker cpu affinity 01 10; 
worker rlimit nofile 65535; 
events { 
use epoll; 
worker connections 51200; 
} 
http { 
include /etc/nginx/mime.types; 
default type application/octet-stream; 


log format main '$remote addr - $remote user [$time local] "$request" ' 
'$status $body bytes sent "$http referer™" ' 
'"$http user agent" ™$http x forwarded for"'; 

access log /var/log/nginx/access.log main; 


sendfile on; 
#tcp_nopush on; 
keepalive timeout 65; 
#gzip on; 


include /etc/nginx/conf.d/*.conf; 


} 
192.168.1.205 | success | rc=0 >> 
user nginx; 
worker processes 4; 
worker cpu affinity 1000 0100 0010 0001; 
worker rlimit nofile 65535; 
events { 
use epoll; 
worker connections 51200; 
} 
http { 
include /etc/nginx/mime.types; 
default type application/octet-stream; 
log format main '$remote addr - $remote user [$time local] "$request" ' 
'$status $body bytes sent "$http referer™" ' 
'"$http user agent" ™$http x forwarded for"'; 
access log /var/log/nginx/access.log main; 


sendfile on; 
#tcp_nopush on; 
keepalive timeout 65; 
#gzip on; 


include /etc/nginx/conf.d/*.conf; 
站 


47 Jinja2 过 滤器 


这 里 补充 一 个 重要 的 概念 一 一 Jinja2 过 滤器 ， 希 望 大 家 能 够 掌握 。 这 是 因为 Ansible 除 了 使 用 YAML 文 件 以 外 ， 还 大 量 使 用 Jinja2 过 滤器 。 


Jinja2 是 Python 下 一 个 广泛 应 用 的 模板 引擎 ， 官 网 地 址 为 http://jinja.pocoo.org， 下 面 来 介绍 下 Ansible 如 何 使 用 Jinja2 的 强大 过 滤器 (Filter) 功能 。 


1. 格 式 化 数据 


下 面 的 过 滤器 会 读 取 template 中 的 数据 结构 并 泻 染 为 不 同 的 格式 ， 这 点 在 调试 的 时 候 非 常 有 


量 名 | to json }} 
名 | to yaml }} 


为 了 便于 阅读 ， 可 以 使 用 : 


{{ 变量 名 | to_nice json }} 
{{ 变量 名 | to nice yaml }} 


从 格式 化 数据 读 入 的 命令 如 下 : 


变量 名 | from json }} 
变量 名 | from yaml }} 


举例 如 下 : 


tasks: 

— shell: cat /some/path/to/file.json 

register: result 

- set fact: myvar="{{ result.stdout | from json }}" 


和 条 件 一 起 使 用 的 示例 如 下 : 


tasks: 

- shell: /usr/bin/foo 
register: result 

ignore errors: True 

— debug: msg="it failed" 
when: result|failed 

- debug: msg="it changed" 
when: result|changed 

- debug: msg="it succeeded" 
when: result|success 

- debug: msg="it was skipped" 
when: result|skipped 


2. 强 制定 义 变量 


对 于 未 定义 变量 ，Ansible 的 默认 行为 是 fail。 但 你 可 以 将 其 关闭 ， 命 令 如 下 : 


{{ 变量 名 | mandatory }} 


3. 未 定义 变量 默认 值 


Jinja2 提 供 了 一 个 有 用 的 default 过 滤器 ， 相 比 于 未 定义 变量 时 直接 fail， 这 是 个 更 好 的 方法 : 


{{ 变量 名 | default (5) }} 


4 忽略 未 定义 变量 和 参数 


Ansible 1.8 之 后 ， 可 以 使 用 default 过 滤器 忽略 未 定义 的 变量 和 模块 参数 ， 命 令 如 下 : 


— name: touch files with an optional mode 

file: dest={{item.path}} state=touch mode={{item.modeldefault (omit)}} 
with items: 

- path: /tmp/foo 


- path: /tmp/bar 
- path: /tmp/baz 
mode: "0444" 


5.list 过 滤器 


这 些 过 滤器 可 作用 在 list 的 所 有 变量 上 。 获 取 数 字 list 中 最 小 值 的 命令 如 下 : 


{{ 1istl | min }} 


获取 数字 list 中 最 大 值 的 命令 如 下 : 


{{ [3, 4, 2] | max }} 


6. 集 合 过 滤器 


集合 过 滤器 自 带 的 函数 都 可 以 从 集合 或 列表 中 返回 一 个 唯一 集合 。 


从 list 中 获取 唯一 集合 的 命令 如 下 : 


{{ listl | unique }} 


两 个 list 的 并 集 、 交 集 和 差 集 ， 命 令 分 别 如 下 : 


{{ listl | union(list2) }} 
{{ listl | intersect (list2) }} 
{{ listl | difference (list2) }} 


7. 随 机 数 过 滤器 


从 list 中 随机 获取 一 个 值 ， 命 令 如 下 : 


1{ [raryh', ec'] eandom }} => ‘gt! 


从 0 到 59 中 获取 一 个 随机 数 ， 命 令 如 下 : 


{{ 59 |random}} 


从 0 到 100 以 步 长 为 10 获 取 随机 数 ， 命 令 如 下 : 


{{ 100 |random(step=10) }} => 70 


从 1 到 100 以 步 长 为 10 获 取 随 机 数 ， 命 令 如 下 : 


{{ 100 |random(1, 10) }} => 31 
{{ 100 |random(start=1, step=10) }} => 51 


8.shuffle 过 滤器 


该 过 滤器 可 随机 排序 已 有 list， 命 令 如 下 所 示 : 


‘yb','c'] |shuffle }} => ['c','a','b'] 
bi] lshuffle }} => ['b','c','a'] 


判断 是 否 为 数字 ,命令 如 下 所 示 : 


{{ myvar | isnan }} 


求 对 数 (默认 基 为 e) 的 命令 如 下 所 示 : 


{{ myvar | 1og }} 


求 10 的 对 数 ， 命 令 如 下 所 示 : 


{{ myvar | log(10) }} 


求 次 割 的 命令 如 下 所 示 : 


{{ myvar | pow(2) }} 
{{ myvar | pow(5) }} 


求 开 方 的 命令 如 下 所 示 : 


{{ myvar | root }} 
{{ myvar | root(5) }} 


9.IP 过 滤器 


检查 是 否 为 有 效 |P， 命 令 如 下 所 示 : 


{{ myvar | ipaddr }} 


检查 某 版 本 是 否 有 有 效 |P， 命 令 如 下 所 示 : 


{{ myvar | ipv4 }} 
{{ myvar | ipv6 }} 


从 IP 地 址 提取 指定 信息 ， 命 令 如 下 所 示 : 


{{ '192.0.2.1/24' | ipaddr('address') }} 


10. 哈 希 过 滤器 


使 用 哈 希 过 滤器 ， 命 令 如 下 所 示 : 


"test1" |hash('shal') }} 

"test1" |hash('md5') }} 

"test2 |checksum }} 

'passwordsaresecret' |password hash('sha512') }} 


其 他 有 用 的 过 滤器 用 法 如 下 所 示 : 


获取 路 径 的 最 后 一 个 名 称 : {{ path | basename }} 从 路 径 中 获取 目录 名 称 : {{ path | dirname }} 获 取 链 接 的 实际 路 径 : {{ Path | realpath }} 


使 用 match 或 search 匹 配 正则 表达 式 的 命令 如 下 所 示 : 


VarS: 

url: "http://example.com/users/foo/resources/bar™ 

tasks: 

— shell: "msg='matched pattern 1'" 

when: url | match ("http://example.com/users/.*/resources/.*") 
- debug: "msg='matched pattern 2'" 

when: url | search("/users/.*/resources/.*") 


使 用 regex_place 进 行 正则 替换 的 命令 如 下 所 示 : 


convert "ansible" to "able" 


命令 显示 结果 如 下 : 
{{ "ansible' | regex replace('^a.*i(.*)$', 'a\\1') }} 


使 用 convert 进 行 正则 替换 ,命令 如 下 所 示 : 


convert "foobar" to "bar™ 


命令 显示 结果 如 下 : 


{{ 'foobar' | regex replace('^f.*o(.*)$', '\\1') }} 


在 正则 中 使 用 regex_escape 转 义 特殊 字符 ,命令 如 下 所 示 : 


wonvert 1*f ro(s*)d to NEN, VoN (VAN NG 


命令 显示 结果 如 下 : 


{{ '^f.*o(.*)$' | regex escape() }} 


参考 文档 


http://docs.ansible.com/ansible/playbooks filters.html#ip-address-filter。 


4.8 小 结 


Ansible 跟 自动 化 运 维 工具 Puppet (第 5 章 会 详细 讲解 ) 的 关注 方向 不 一 样 ， 它 关注 的 是 软件 使 用 的 便利 性 、 简 便 性 及 扩展 性 ， 这 也 是 很 多 运 维 人 员 和 开发 人 员 喜 欢 它 的 地 方 。 另 外 ， 值 得 关注 的 是 ，AWS 
最 近 的 一 份 声明 表示 ，Ansible 的 多 个 模块 还 可 以 集成 在 AWS 平 台 上 ， 包 括 身份 认证 和 访问 管理 功能 等 。 用 户 可 以 在 Ansible 上 创建 基于 AWS 的 自动 化 任务 管理 ， 包 括 用 户 、 组 员 、 角 色 管理 ， 也 可 以 进行 相关 
规则 设 定 。 随 着 红 帆 公司 收 购 了 Ansible， 我 们 可 以 预见 到 Ansible 会 越 来 越 成 熟 和 流行 。 


第 5 章 ”自动 化 配置 管理 工具 Puppet 


在 大 数据 时 代 ， 高 伸缩 性 、 容 错 性 、 分 布 式 的 特点 对 系统 运 维 提出 了 更 高 的 要 求 ， 系 统管 理 员 不 再 疫 于 安装 操作 系统 、 对 系统 参数 进行 逐一 配置 与 优化 、 打 补丁 、 安 装 软件 、 配 置 软件 、 添 加 某 个 服务 
等 操作 了 。 他 们 开始 做 一 些 局 部 的 自动 化 工作 ， 这 样 可 以 提高 效率 、 避 和 锡 重 复 劳动 、 减 少 错误 、 积 累 知识 。 但 这 些 还 远 远 不 够 ， 要 想 满足 大 数据 时 代 的 运 维 需求 ， 需 要 更 彻底 地 应 用 自动 化 运 维 工具 。 


常见 的 运 维 工 作 流程 包括 : 安装 系统 一 优化 系统 与 配置 一 安装 软件 一 配置 软件 一 添加 监控 一 检查 ， 等 网 站 或 系统 正式 上 线 后 ， 后 续 可 能 还 会 有 添加 服务 一 配置 变更 一 打 补 丁 、 修 复 漏洞 等 ， 是 不 是 很 烦 


锁 ? 尤其 是 要 负责 部 署 及 维护 大 量 的 服务 器 时 ， 很 多 时 候 是 无 法 凭借 一 已 之 力 完 成 全 部 工作 的 ， 这 时 便 需 要 一 些 自动 化 工具 来 帮忙 了 。 


系统 运 维 工 作 面 临 的 各 种 不 确定 性 问题 更 让 人 头 阁 ， 在 10 台 Linux 机 器 上 变更 应 用 相对 来 说 还 算是 很 简单 的 事 ;， 就 算 到 了 100 台 ， 也 有 轻 量 级 的 Fabric 自 动 化 运 维 工具 ; 但 如 果 上 升 到 1000 台 甚至 上 万 台 
(尤其 是 其 中 还 包含 了 数量 不 少 的 Windows Server 机 器 ) 呢 ? 那 就 会 变 得 非常 复杂 了 。 而 且 重 复 性 的 劳动 还 会 让 人 觉得 疲惫 和 乏味 ， 久 而 久之 可 能 还 会 产生 厌倦 工作 的 情绪 ， 如 果 这 个 时 候 使 用 自动 化 配置 管 
理工 具 Puppet， 就 能 很 轻松 地 解决 这 些 问题 了 ， 这 也 是 Puppet 越 来 越 流 行 的 原因 之 一 。 


5.1 Puppet 的 基本 概念 及 介绍 


5.1.1 Puppet 简 介 


Puppet 是 一 个 基于 Ruby 开 发 的 使 用 GPL 协议 授权 的 开源 软件 ， 它 既 能 以 客户 端 -服务 端的 方式 运行 ， 也 能 独立 运行 ; 既 可 以 用 来 管理 Linux、Unix 平 台 ， 也 可 以 用 来 管理 Microsoft Windows。 除 此 以 
外 ， 它 还 可 以 用 来 管理 一 台 主机 的 整个 生命 周期 : 从 初始 化 、 安 装 、 升 级 、 维 护 到 最 后 将 服务 器 迁移 并 下 架 ， 都 可 以 用 它 来 管理 。Puppet 能 够 与 主机 持续 进行 交互 ， 它 并 非 是 一 个 只 负责 搭建 主机 却 不 管理 
它们 的 工具 。 


5.2 ”安装 Puppet 前 的 准备 工作 


可 以 先 准备 2 台 CentOs 6.4 x86_64 的 机 器 ， 做 好 安装 前 的 准备 工作 ， 这 2 人 台 机 器 均 要 关闭 iptables 和 SELinux， 另 外 ， 这 2 人 台 机 器 都 要 先 用 ntpdate 对 时 ， 这 是 因为 Puppet 的 C/S 两 端 进行 同步 时 需要 SSL 
验证 ， 而 SSL 验 证 又 依赖 于 主机 上 的 正确 时 间 ， 为 了 保证 能 向 Master 主 机 申请 到 正确 的 有 效 证 书 ， 建 议 先进 行 对 时 ， 命 令 如 下 : 


ntpdate ntp.api.bz 


以 下 结果 表示 此 机 器 已 成 功 对 时 。 


31 Oct 03:17:06 ntpdate[988]: step time server 61.153.197.226 offset -184.108147 sec 


通过 date 命 令 比 对 两 边 机 器 的 时 间 ， 发 现 它们 是 一 致 的 (上面 的 这 些 操作 最 好 通过 Xshell4.0 的 “To All session” 进 行 ) ， 如 下 : 


Sat Oot 31 03:17:10 UTC 2015 


这 2 台 内 网 机 器 的 主机 名 和 IP 地 址 分 配 ， 以 及 /etc/hosts 文 件 内 容 分 别 如 下 : 


192.185.1.124 Server.cn7788.com 用 途 : puppet-master 
192.168.1.125 client.cn7788.com 用 途 : puppet-client 


当然 了 ， 随 着 项 目 或 网 站 的 流量 增加 ， 后 期 内 网 机 器 (公司 运营 的 网 站 也 都 是 放 在 防火 墙 后 面 的 局 域 网 里 ) 也 会 越 来 越 多 ， 所 以 后 期 的 域名 解析 还 是 得 靠 自 建 的 内 部 DNS 服务 器 ， 这 里 为 了 方便 将 演示 
过 程 简化 ， 暂 时 用 /etc/hosts 代 蔡 DNS 服 务 器 作为 域名 来 进行 解析 。 


全 注意 


要 在 安装 Puppet 软 件 之 前 先 设置 主机 名 ， 因 为 生成 证 书 的 时 候 要 把 主机 名 写 入 证 书 ， 如 果 证 书生 成 完毕 再 改 主 机 名 ，Puppet 客 户 机 就 连 不 上 主机 了 ， 所 以 大 家 记得 要 先 更 改 /etc/sysconfig/netwo 代 里 面 的 


HOSTNAME 主 机 名 ， 然 后 还 要 重启 机 器 。 


5.3 Puppet 的 详细 安装 步骤 


在 下 面 的 步骤 中 ， 前 三 步 在 这 两 台 机 器 上 均 要 执行 〈 嫌 麻烦 的 朋友 可 以 利用 Xshell4.0 的 “To All session” 功 能 进行 批量 部 署 ) 。 


1) Puppet 不 在 CentOS 的 基本 源 中 ， 需 要 加 入 PuppetLabs 提 供 的 官方 源 ， 由 于 笔者 的 系统 全 是 CentOS 6.4 x86 _ 64 系统 ， 所 以 这 里 采用 的 是 适用 于 64 位 系统 的 rpm 软 件 包 ， 命 令 如 下 : 


cd /usr/local/src 
wget http://yum.puppetlabs.com/el/6/products/x86 _64/puppetlabs-release-6-7.noarch.rpm 
rpm -ivh puppetlabs-release-6-7.noarch.rpm 


2) 安装 Puppet 需 要 的 软件 包 ， 这 里 直接 用 yum 进 行 安装 ， 命 令 如 下 : 


yum install -y mysql mysql-devel mysql-server ruby ruby-devel ruby-irb ruby-mysql ruby-rdoc ruby-ri 


大 家 都 知道 ，Puppet 是 基于 Ruby 进 行 开发 的 ， 所 以 先 关注 一 下 Ruby 的 版 本 ， 命 令 如 下 : 


ruby -Vv 
命令 显示 结果 如 下 所 示 : 


ruby 1.8.7 (2013-06-27 patchlevel 374) [x86 64-linux] 


3) 安装 Puppet 之 前 需要 先 安装 facter， 它 的 作用 是 收集 主机 的 一 些 资料 ， 比 如 CPU、 主 机 IP 等 ，facter 把 收集 到 的 值 发 送 给 Puppet 服 务 器 端 ， 服 务 器 端 就 可 以 根据 不 同 的 条 件 来 对 不 同 的 节点 机 器 生 
成 不 同 的 Puppet 配 置 文件 。 值 得 注意 的 是 ，Puppet-2.6.3 这 个 版 本 有 Bug， 在 配置 fileserver.conf 文 件 进行 文件 推送 时 ， 修 改 此 文件 会 直接 导致 cuppetmaster 进 程 死 掉 ， 所 以 建议 大 家 安装 时 略 过 此 版 


本 ， 选 择 更 高 级 更 稳定 的 Puppet 版 本 。 这 里 直接 安装 的 是 3.8.3 版 本 ， 可 以 用 如 下 命令 查看 其 版 本 号 : 


puppet --version 


结果 显示 如 下 所 示 : 
S83 
注意 


如 果 Puppet-Master 与 Puppet-Client 版 本 号 不 一 致 ， 极 有 可 能 在 Puppet-Client 进 行 连接 时 产生 “ERROR 400 ON SERVER” 的 报错 ， 所 以 建议 大 家 尽量 保持 这 两 端的 Puppet 版 本 一 致 ; 此 外 ， 老 版 Puppet 跟 新 
版 Puppet 的 许多 命令 都 不 一 致 ， 请 大 家 在 阅读 此 章 内 容 时 注意 这 点 。 


下 面 是 Puppet 服 务 器 端的 配置 步骤 (为 了 方便 以 后 的 操作 和 维护 ， 建 议 将 puppetmaster 配 置 成 系统 服务 的 形式 来 启动 ) 。 


1) 服务 器 端 安装 命令 如 下 : 


yum -yY install puppet-server 


2) 将 puppetmaster 服 务 配置 成 开机 启动 ， 命 令 如 下 : 


chkconfig puppetmaster on 


3) 启动 服务 : 


service puppetmaster start 


4) 检查 puppetmaster 服 务 的 启动 情况 。 


第 一 次 建议 采用 puppet master--verbose--no-daemonize 命 令 启动 ， 这 样 有 助 于 测试 和 调 斌 错误， 如果 采用 命令 方式 启动 ， 可 以 看 到 启动 的 整个 过 程 ， 启 动 过 程 会 做 一 些 初始 化 的 工作 ,为 master 创 
建 本 地 证 书 认 证 中 心 、 证 书 和 key， 并 打开 socket 等 待 Puppet-Client 端 的 连接 。 可 以 在 /var/lib/puppet/ssl 目 录 看 到 相关 的 文件 和 目录 ， 命 令 显 示 结果 如 下 所 示 : 


Info: Creating a new SSL key for ca 

Info: Creating a new SSL certificate request for ca 

Info: Certificate Request fingerprint (SHA256) : 43:F8:64:56:2E:DA:3C:64:22:6F:27:25:BD:93:Al:93:20:5E:29:;5F:CC:AE:1D:95:94:A0:60:C6:12:FC:12:2B 
Notice: Signed certificate request for ca 

Info: Creating a new certificate revocation list 

Info: Creating a new SSL key for server 

Info: csr attributes file loading from /etc/puppet/csr attributes.yaml 

Info: Creating a new SSL certificate request for server 

Info: Certificate Request fingerprint (SHA256): 5E:69:D3:D7:34:F8:C7:BA:DA:B5:0B:03:0F:8D:DC:D3:E3:C6:07:;09:;FC:76:F3:50:29:DD:60:54:7A:5D:F5:19 
Notice: server has a waiting certificate request 

Notice: Signed certificate request for server 

Notice: Removing file Puppet::SSL::CertificateRequest server at '/var/lib/puppet/ssl/ca/requests/server.pem’' 

Notice: Removing file Puppet::SSL::CertificateRequest server at '/var/lib/puppet/ssl/certificate requests/server.pem' 

Notice: Starting Puppet master version 3.8.3 


此 命令 行 的 详细 参数 解释 如 下 : 


-no-daemonize  # 前 台 输 出 日 志 
-Verbose  # 输 入 更 加 详细 的 日 志 
=--debug # 还 可 以 带 上 此 参数 ， 用 于 输出 更 加 详细 的 日 志 ， 排 错 的 时 候 使 用 


Puppet-Master 开 启 Puppet 进 程 时 占用 的 是 8140 端 口 ， 可 以 用 lsof 命 令 来 查看 8140 端 口 是 否 被 占用 ， 命 令 如 下 所 示 : 


lsof -i:8140 

结果 如 下 所 示 : 

COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME 

puppet 1008 puppet 4u IPv4 11158 Ot0 TCP *:8140 (LISTEN) 


以 上 两 条 命令 的 结果 说 明 Puppet 服 务 器 是 正常 启动 的 ，puppet master--verbose--no-daemonize 和 service puppetmaster start 都 是 用 于 启动 Puppet-Server 端 的 ， 不 建议 同时 混用 ， 根 据 实际 工作 
需求 选 其 一 即 可 。 


办 


讲 完 服务 端的 配置 步骤 ， 现 在 来 介绍 一 下 Puppet-Client 客 户 端的 安装 配置 过 程 。 前 面 的 yum 安 装 过 程 同 Puppet-Server 端 一 样 ， 这 里 不 再 重复 ， 请 注意 下 面 的 过 程 跟 Puppet-Server 不 一 样 ， 要 注意 
分 。 


1) 客户 端 安 装 命令 如 下 : 


yum -~-y install puppet 


2) 然后 向 Puppet-Server 端 发 出 请 求 ， 命 令 如 下 : 


puppet agent --test --server server.cn7788.com 


此 命令 结果 显示 如 下 所 示 : 


Info: Creating a new SSL key for client.cn7788.com 

Info: Caching certificate for ca 

Info: csr attributes file loading from /etc/puppet/csr attributes.yaml 

Info: Creating a new SSL certificate request for client.cn7788.com 

Info: Certificate Request fingerprint (SHA256): 60:08:6F:48:66:B9:B0:5D:7C:33:6E:7D:04:DC:C3:CA:3B:9D:31:36:22:21:16:F0:47:19:08:CE:18:67:B6:E7 
Info: Caching certificate for ca 

Exiting; no certificate found and waitforcert is disabled 


3) 此 时 在 Puppet-Server 端 可 以 查看 正在 申请 证 书 的 客户 端 ， 命 令 如 下 : 


Puppet cert --list 一 al1 


命令 显示 结果 如 下 所 示 : 


"client.cn7788.com" (SHA256) 60:08:6F:48:66:B9:B0:5D:7C:33:6E:7D:04:DC:C3:CR:3B:9D:31:36:22:21:16:F0:47:19:08:CE:18:67:B6:E7 
+ "server" (SHA256) Bl1:57:D9:3B:55:FF:AA:70:3F:D8:BD:B3:1E:09:06:89:67:El1:20:CE:8E:84:E6:39:19:A0:E0:F4:6D:49:1A:66 


此 时 要 用 如 下 命令 接受 请 求 : 


Puppet cert sign client.cn7788.com 


命令 结果 显示 信息 如 下 : 


Notice: Signed certificate request for client.cn7788.com 
Notice: Removing file Puppet::SSL::CertificateRequest client.cn7788.com at '/var/lib/puppet/ssl/ca/requests/client.cn7788.com.pem' 


此 命令 表示 接受 客户 机 client.cn7788.com 的 认证 。 


4) Puppet-Client 端 再 发 一 次 认证 请 求 ， 命 令 如 下 : 


Puppet agent --test --server server.cn7788.com 


此 命令 结果 显示 如 下 所 示 : 


Info: Caching certificate for client.cn7788.com 

Info: Caching certificate revocation list for ca 

Info: Caching certificate for client.cn7788.com 

Info: Retrieving pluginfacts 

Info: Retrieving plugin 

Info: Caching catalog for client.cn7788.com 

Info: Applying configuration version '1446287484" 

Info: Creating state file /var/lib/puppet/state/state.yaml 
Notice: Finished catalog run in 0.07 seconds 


此 时 Puppet-Server 端 显示 结果 如 下 所 示 : 


Info: Caching node for client.cn7788.com 
Info: Caching node for client.cn7788.com 
Notice: Compiled catalog for client.cn7788.com in environment production in 0.12 seconds 


Puppet-Client 端 也 可 以 采用 服务 的 形式 来 启动 ， 命 令 如 下 : 


Service puppet start 


该 启动 方式 跟 Puppet-Server 端 的 原理 类 似 ， 上 面 介 绍 的 两 种 启动 方式 二 选 一 即 可 ， 后 续 的 演示 为 了 方便 都 是 采用 命令 行 的 方式 启动 的 。 


@i 明 


曾 有 读者 提出 疑问 ，Puppet 的 版 本 能 够 混用 吗 ? 答案 是 可 以 ,但 要 注意 的 是 Puppet-Mastet 的 版 本 一 定 要 高 于 Puppet-Client， 男 外 Puppet-Master 和 Puppet-Client 之 间 的 版 本 间隔 不 要 相差 太 大 ，Puppet-Client 
的 版 本 越 老 ， 与 新 版 本 的 Puppet-Master 一 起 正常 运行 的 可 能 性 也 就 越 小 。 


5.4 Puppet 的 简单 文件 应 用 


这 里 还 是 以 上 面 两 台 机 器 为 例 进行 说 明 。 


在 服务 端 /etc/puppet/manifests/ 下 建立 文件 site.pp， 此 文件 可 以 将 /tmp/andrew.txt 的 内 容 和 权限 都 推送 过 去 ， 如 果 客 户 端 存在 此 文件 ， 则 会 采用 此 文件 定义 的 文件 内 容 和 权限 ; 如 果 不 存在 ， 则 在 
推送 过 去 之 后 ， 由 所 推送 的 文件 来 定义 相应 的 内 容 和 权限 ， 文 件 内 容 如 下 : 


node default{ 

file {"/tmp/andrewy.txt": 

content =>"hello, My Name is Andrew.Yu !\n", 
ensure => present, 

mode => 644, 

owner => root, 

group => root, 

} 

} 


Puppet 的 基础 结构 是 这 样 的 : 


类 型 { 标 题 : 
属性 => 值 ， 


在 上 面 的 代码 中 ， 资 源 的 类 型 是 fle。Puppet 默 认 提供 了 很 多 资源 类 型 ， 可 以 用 来 管理 文件 、 服 务 、 软 件 包 及 cron 定 时 任务 等 。 


文件 中 的 其 他 内 容 都 很 好 理解 ， 只 是 ensure= > present 表 示 什 么 意思 呢 ? 


ensure 后 面 可 以 接 许多 参数 ， 如 果 后 | 


回 


接 的 是 present， 则 会 检查 该 文件 是 否 存在 ， 如 果 不 存在 就 新 建 该 文件 。 


服务 端 先 启动 puppetmaster 进 程 ， 命 令 如 下 : 


service puppetmaster start 


然后 客户 机 client.cn7788.com 执 行 如 下 命令 : 


Puppet agent --test --server server.cn7788.com 


命令 显示 结果 如 下 : 


: Retrieving pluginfacts 

: Retrieving plugin 

: Caching catalog for client.cn7788.com 

Info: Applying configuration version '1446519028"' 

Notice: /Stage[main]/Main/Node[default]/File[/tmp/yhc.txt]/ensure: created 
Notice: Finished catalog run in 0.03 seconds 


由 上 述 结果 可 以 看 出 client.cn7788.com 中 不 存在 /tmp/yhc.txt 文 件 。 


还 可 以 再 设 定 这 样 一 种 情况 : client.cn7788.com 的 节点 机 器 存在 /tmp/yhc.txt 文 件 。 演 示 步 骤 如 下 所 示 : 


1) 删除 此 文件 后 ， 在 /tmp 目 录 下 再 建立 yhc.txt 文 件 ， 文 件 内 容 如 下 : 


Hi, This is a test file! 


2) 然后 在 client.cn7788.com 机 器 上 再 次 执行 连接 server.cn7788.com 端 ， 命 令 如 下 : 


Puppet agent --test --server server.cn7788.com 


此 命令 结果 显示 如 下 所 示 : 


Info: Retrieving pluginfacts 

Info: Retrieving plugin 

Info: Caching catalog for client.cn7788.com 

Info: Applying configuration version '1446519028"' 

Notice: /Stage[main]/Main/Node[default]/File[/tmp/yhc.txt]/content: 


a= EGG bet 2015-11-03 03:08:03.677046037 +0000 
+++ /tmp/puppet-file20151103-5329-179slch-0 2015-11-03 03:08:18.765044005 +0000 
ee@ -1 +1 @@ 


-Hi,This is a test file! 

+hello, My Name is yuhongchun ! 

Info: Computing checksum on file /tmp/yhc.txt 

Info: /Stage [main] /Main/Node[default]/File[/tmp/yhc.txt]: Filebucketed /tmp/yhc.txt to puppet with sum e38fdq170e47129b097f377fd9bae116a 

Notice: /Stage[main]/Main/Node[default]/File[/tmp/yhc.txt]/content: content changed '{md5je38fd170e47129b097f377fd9bael16a' to '{md5}448dbled0c41f6dac48d218e169463ae' 
Notice: Finished catalog run in 0.08 seconds 


从 日 志 结果 中 就 可 以 分 析出 来 ，yhc.txt 文 件 已 经 发 生 了 变化 。 


上 面 的 文件 推送 应 用 比较 简单 ， 我 们 应 如 何 根据 自己 的 实际 需求 ， 从 Puppet-Server 服 务 器 端 向 Puppet-Client 客 户 端 分 发 指定 的 文件 呢 ? 比如 说 ， 要 将 服务 器 端的 /usr/local/src/softlist 文 件 集 中 分 发 
到 Puppet-Client 的 /tmp 下 面 ， 应 该 如 何 操作 呢 ? 步骤 如 下 。 


1) 先 修改 /etc/puppet/fileserver.conf 文 件 ， 命 令 如 下 : 


[files] 
path /usr/local/src 
allow * 


全 注意 
files 在 这 里 是 一 个 虚拟 目录 ， 它 实际 对 应 的 是 服务 器 端的 /ust/local/src 目 录 ， 这 里 的 语法 跟 8amba 服 务 器 的 语法 是 一 样 的 ， 即 定义 的 虚拟 目录 。 
allow 后 面 连接 的 是 允许 连接 到 服务 端 主机 地 址 的 设置 ， 这 里 设置 为 允许 所 有 。 


2) 再 修改 /etc/puppet/manifests/ 下 面 的 site.pp 文 件 ， 内 容 如 下 : 


file 

{ */tmp/softliist"s 

source => "puppet://server.cn7788.com/files/softlist", 
group => root, 

Owner => root, 

mode => "644" 

} 


3) 在 client.cn7788.com 机 器 上 执行 如 下 命令 (执行 命令 之 前 可 以 先 修改 /etc/hosts 文 件 ， 使 之 与 Puppet-Master 不 一 致 ) : 


puppet agent --test --server server.cn7788.com 


命令 显示 结果 如 下 : 


Info: Retrieving pluginfacts 

Info: Retrieving plugin 

Info: Caching catalog for client.cn7788.com 

Info: Applying configuration version '1446535632"' 

Notice: /Stage[main]/Main/File[/usr/local/src/softlist]/content: 
--- /usr/local/src/softlist 2015-11-03 06:46:28.994043464 +0000 
+++ /tmp/puppet-file20151103-6644-mbchft-0 2015-11-03 07:27:15.504044004 +0000 
QQ -1,4 +1,6 @@ 

-apache 

-memcache 

+nginx 

redis 


+hadoop 

+spark 

+php-fpm 

+pdns 

Info: Computing checksum on file /usr/local/src/softlist 

Info: /Stage[main]/Main/File[/usr/local/src/softlist]: Filebucketed /usr/local/src/softlist to puppet with sum 7f43deObcc4ac5f984f17775aba0ba96 

Notice: /Stage[main]/Main/File[/usr/local/src/softlist]/content: content changed '{md5}7f43deObcc4ac5f984f17775abaO0ba96' to '{md5}36fe5le7e690fe7d65046e9868ed2fa4' 


Notice: /File[/usr/local/src/softlist]/seluser: seluser changed 'unconfined u' to 'system u' 
Notice: Finished catalog run in 0.39 seconds 


观察 日 志 可 以 得 知 ，Puppet-Client 的 /etc/hosts 文 件 已 经 更 新 了 ， 耗 时 0.36 秒 。 
同 理 ， 如 果 要 推送 Puppet-Server 端 的 /etc/crontab 文 件 ， 只 需要 关注 Puppet-Server 端 的 这 两 个 相关 文件 即 可 。 


fileserver.conf 的 文件 内 容 如 下 : 


[files] 
path /etc/ 
allow * 


/etc/puppet/manifests/site.pp 的 文件 内 容 如 下 : 


file 

{ "/etc/crontab": 

source => "puppet://server.cn7788.com/files/crontab", 
group => root, 

owner => root, 

mode => "644" 

} 


接着 ,让 client.cn7788.com 节 点 机 器 执行 同步 命令 ， 命 令 如 下 : 


puppetd --test --server server.cn7788.com 


结果 如 下 所 示 : 


Info: Retrieving pluginfacts 

Info: Retrieving plugin 

Info: Caching catalog for client.cn7788.com 

Info: Applying configuration Version '1446536063" 
Notice: /Stage[main]/Main/File[/etc/crontab] /content: 


--- /etc/crontab 2011-09-27 01:33:08.000000000 +0000 
+++ /tmp/puppet-file20151103-6923-1twgwy5-0 2015-11-03 07:34:26.168044006 +0000 
QQ -14,3 +14,10 @@ 


.| 

#* * * * * user-name command to be executed 

+00 01 * ** root /bin/bash /usr/local/nginx/sbin/cut nginx log.sh >> /dev/null 2>&1 
+01 02 * ** root /bin/bash /root/backup.sh >> /dev/null 2>&1 


+ 
+03 03 * * * root /bin/bash /root/sshdeny.sh >> /dev/null 2>&1 

+#01 04 * * * root /bin/bash /root/rsync dir.sh >>/dev/null 2>&1 

二 

+#*/5 * * * * root /etc/init.d/iptables stop 

Info: Computing checksum on file /etc/crontab 

Info: /Stage[main]/Main/File[/etc/crontab]: Filebucketed /etc/crontab to puppet with sum 4f2aaa54c48dda350f75da151f79ae57 

Notice: /Stage[main]/Main/File[/etc/crontab]/content: content changed ' {md5}4f2aaa54c48dda350f75dal51f79ae57' to '{md5}7e76ef490e02dde0dd8e82a5cf7c0c69' 
Notice: Finished catalog run in 0.59 seconds 


从 日 志 可 以 得 知 ，/etc/crontab 文 件 已 经 很 顺利 地 推送 过 去 了 ，client.cn7788.com 端 的 /etc/crontab 文 件 已 经 跟 server.cn7788.com 端 的 /etc/crontab 文 件 保 持 一 臻 了， 整个 过 程 总 共 耗 时 0.59 秒 。 


上 面 的 例子 都 是 分 发 文件 ， 如 果 要 强制 推送 文件 夹 呢 ? 继续 进行 测试 ， 编 辑 /etc/puppet/manifests/site.pp 文 件 ， 文 件 内 容 如 下 : 


file 


{ 

"/usr/local/src/test": 

source => "puppet://server.puppet.com/files/test", 
recurse => true, 

ensure => directory, 

force => true 


} 


其 中 的 recurse= >true 是 递归 复制 ，ensure=>directory 是 确保 客户 端 存 在 /usr/local/src/test 目 录 ，forece=>true 会 强制 删除 或 覆盖 已 存在 的 目录 。 


然后 ， 在 客户 端 执行 同步 命令 ,命令 显示 结果 如 下 所 示 : 


Info: Retrieving pluginfacts 

Info: Retrieving plugin 

Info: Caching catalog for client.cn7788.com 

Info: Applying configuration version '1446537314" 

Notice: /Stage [main] /Main/File[/usr/local/src/test]/ensure: created 

Notice: /Stage[main]/Main/File[/usr/local/src/test/yhc] /ensure: defined content as '{md5}d41d8cd98f00b204e9800998ecf8427e' 
Notice: /Stage[main]/Main/File[/usr/local/src/test/ccl]/ensure: defined content as '{md5}d41d8cd98f00b204e9800998ecf8427e' 
Notice: /Stage[main]/Main/File[/usr/local/src/test/dd]/ensure: defined content as '{md5}d41d8cd98f00b204e9800998ecf8427e' 
Notice: Finished catalog run in 0.77 seconds 


使 用 上 面 的 配置 继续 测试 会 发 现 ， 当 服务 端 源 文件 夹 内 增加 、 更 新 文件 时 ， 客 户 端 会 自动 增加 、 更 新 相应 的 文件 ， 但 在 服务 端 源 文件 夹 内 删除 文件 时 ， 客 户 端 不 会 自动 删除 ， 如 果 工 作 中 有 同步 删除 需 
求 ， 可 以 考虑 采用 Puppet 结 合 rsync 的 方式 来 实现 。 


f 和 le 资源 是 我 们 在 使 用 Puppet 时 最 常用 的 资源 之 一 ， 其 配置 方法 也 是 多 元 化 的 ， 而 且 是 影响 Puppet 执 行 效率 的 关键 。 那 么 ， 可 以 利用 file 资 源 做 哪些 工作 呢 ? 


“ 管理 文件 内 容 、 属 性 和 权限 等 。 

“ 管理 文件 、 目 录 、 符 号 链接 等 。 

“ 通过 属性 来 指定 文件 来 源 ， 也 可 以 通过 source 属 性 从 远程 服务 器 中 下 载 。 
“ 设置 fecurse 属 性 为 true 同 步 传输 整个 目录 。 

file 目 前 可 使 用 的 参数 如 下 。 


“ ensure 参 数 : 这 个 参数 指定 是 否 创 建 、 删 除 文 件 或 目录 ， 有 present、absent、file、directory 等 值 。 其 中 present 会 检查 文件 是 否 存 在 ， 若 不 存在 则 会 创建 一 个 空 文件 ; absent 会 删除 文件 或 目录 ， 如 果 是 目 
录 则 需要 通过 tecurse 参 数 指定 是 否 允 许 递归 ; 如 果 trecurse 参 数 指定 的 是 其 他 的 参数 ， 则 会 创建 连接 文件 ， 为 了 方便 管理 ， 建 议 在 创建 的 时 候 使 用 ensure=>link， 并 通过 target 参 数 指定 文件 。 


force 参数: 该 参数 会 强制 执行 删除 文件 、 软 链接 和 目录 等 相关 操作 ， 进 行 清空 子 目 录 、 修 改 文件 或 链接 的 目录 、 删 除 目录 等 操作 时 必须 指定 force 参 数 ， 并 确保 ensute 一 absent。 


“ group 参 数 : 指定 文件 或 目录 的 属 组 ， 可 以 是 组 名 或 组 id， 如 果 是 Windows， 属 组 和 属 主 不 能 相同 。 


“ ignore 参 数 : 指定 在 递归 期 间 对 符合 指定 模式 的 文件 所 进行 的 操作 将 被 忽略 。 


* link: 


s 参 数 : 指定 处 理 文件 期 间 如 何 处 理 链接 文件 ， 可 以 设置 为 follow 和 manage。 在 复制 文件 的 时 候 ，follow 将 会 复制 目标 文件 来 代替 链接 文件 ，manage 将 只 会 复制 链接 文件 。 


. mode 参 数 : 用 来 指定 文件 或 目录 的 权限 ，Puppet 使 用 的 是 传统 的 Unix 权 限 方案 。 


" owner 参 数 : 指定 文件 的 属 主 ， 可 以 是 用 户 名 或 用 户 id， 如 果 是 Windows， 属 组 和 属 主 不 能 相同 。 


path 参数 : 指定 文件 管理 的 路 径 。 


:putge 参 数 : 用 于 删除 在 Puppet-Server 上 不 存在 的 文件 ， 这 个 参数 只 有 在 管理 目录 时 指定 了 recurse=>true 参 数 才 有 意义 。 


' tecurse 参 数 : 指定 是 否 进行 递归 调用 ， 其 值 有 true、false、inf 和 remote。 


' soutce 参 数 : 指定 将 会 被 复制 到 指定 位 置 的 资源 文件 。 


:tatget 参 数 : 指定 创建 链接 文件 的 目标 文件 或 目录 。 


了 解 完 file 的 参数 ， 再 来 看 看 file 资 源 的 缺点 。 


file 资 


源 不 适合 做 大 量 文件 的 分 发 处 理工 作 ， 如 果 文件 数量 增多 了 ， 效 率 就 会 下 降 ， 尤 其 是 文件 的 属性 比较 多 的 时 候 。 可 以 通过 客户 端的 反馈 结果 发 现 ， 大 量 文件 的 分 发 处 理工 作 是 耗 时 最 多 的 一 个 。 在 
后 面 的 内 容 中 会 提 到 ， 这 个 缺点 可 以 结合 rsync 服 务 来 弥补 。 


如 果 局 域 网 内 的 机 器 非常 多 ， 每 次 从 Puppet-Client 向 Puppet-Server 端 发 送 证 书 请 求 时 都 必须 手动 输入 命令 给 客户 端 签名 ， 那 么 在 服务 器 上 应 该 如 何 配置 以 确保 自动 安全 地 给 客户 端 签 名 呢 ? 步骤 如 


下 。 


1) 编辑 /etc/puppet/puppet.conf， 在 [main] 的 最 后 添加 如 下 内 容 : 


autos 


ign = true 


ND 
= 
由 


和 启 puppetmaster 服 务 ， 命 令 如 下 : 


Servi 


ce puppetmaster restart 


3) 另外 配置 一 台 名 为 fabric.cn7788.com 的 Puppet-Client 机 器 ， 安 装 过 程 此 处 略 过 ， 然 后 使 用 如 下 命令 连接 Puppet-Server 机 器 : 


Puppe 


t agent --test ~-server server.cn7788.com 


此 命令 返回 结果 显示 如 下 所 示 : 


Info:; 
Info: 
Info: 
Info: 
Info: 
Info: 
Info: 
Info: 
Info: 
Info: 
Info: 
Info: 


Creating a new SSL key for fabric.cn7788.com 

Caching certificate for ca 

csr attributes file loading from /etc/puppet/csr attributes.yaml 
Creating a new SSL certificate request for fabric.cn7788.com 
Certificate Request fingerprint (SHA256) : C4:91:56:7A:46:78:89:5E:DC:Al:B9:93:23:DD:6D:31:82:AD:71:86:EC:86:D8:71:34:96:EE:4E:16:6A:33:80 
Caching certificate for fabric.cn7788.com 

Caching certificate revocation list for ca 

Caching certificate for ca 

Retrieving pluginfacts 

Retrieving plugin 

Caching catalog for fabric.cn7788.com 

Applying configuration version '1446606289' 


Notice: /Stage[main]/Main/File[/usr/local/src/test]/ensure: created 
Notice: /Stage[main]/Main/File[/usr/local/src/test/ccl]/ensure: defined content as '{md5}d41d8cd98f00b204e9800998ecf8427e' 
Notice: /Stage[main]/Main/File[/usr/local/src/test/dd]/ensure: defined content as '{md5}d41d8cd98f00b204e9800998ecf8427e' 


Info: 


Creating state file /var/lib/puppet/state/state.yaml 


Notice: Finished catalog run in 0.43 seconds 


通过 日 志 分 析 ，Puppet-Server 机 器 已 经 蔡 名 为 fabric.cn7788.com 的 节点 机 器 自动 颁发 了 签证 ， 表 示 上 述 配置 是 生效 的 。 


全 注意 


自动 颁发 证 书 是 一 种 比较 危险 的 操作 ， 除 非 有 足够 安全 的 保证 ， 否 则 一 般 情况 下 不 要 这 样 操作 。 


另外 


此 时 


首先 


， 还 有 个 问题 : Puppet 客 户 端 应 该 如 何 自动 连接 Puppet-Master， 并 且 如 何 修改 默认 连接 时 间 间 隔 呢 ? 


间 间 隔 默 认为 1800 秒 《30 分钟 ) ， 有 时 候 在 实际 工作 中 需要 更 改 此 时 间 间 隔 ， 比 如 将 其 更 改 为 10 分 钟 一 次 ， 下 面 以 client.cn7788.com 的 客户 机 为 例 说 明 具 体 的 实现 步骤 。 


， 要 修改 它 的 /etc/puppet/puppet.conf 文 件 ， 在 [puppet-client] 的 最 下 面 添加 如 下 内 容 : 


Server=server .cn7788.com 
runinterval=300 


然后 以 服务 的 形式 启动 此 Puppet Agent， 命令 如 下 : 


service puppet start 


在 上 面 的 配置 文件 里 ，server 选 项 设置 的 是 Puppet-Server 的 域名 地 址 ， 在 Puppet-Client 端 设置 好 此 域名 地 址 后 ， 就 可 以 以 默认 的 30 分 钟 为 频率 
cn7788.com。 其 实 配 置 了 参数 以 后 ，Puppet-Client 客 户 端 就 可 以 自动 向 Puppet-Master 发 起 连接 了 ， 而 不 再 需要 用 puppetd--test--serverserver.cn7788.com 命 令 进行 手动 连接 。 
，Puppet 客 户 机 将 只 是 单纯 地 启动 Puppetd 进 程 ， 而 不 会 主动 找 servercn7788.com 发 起 请 求 。 在 实际 应 用 中 通常 需要 配置 此 选项 ， 让 客户 端 自动 进行 连接 工作 。runinterval 选 项 可 


为 server. 
此 项 参数 
多 长 的 时 


间 进 行 一 次 自动 更 新 ， 时 间 单 位 为 秒 ， 这 里 选择 的 是 300 秒 。 


注意 


一 般 


自动 连接 Puppet-Server 了 ， 在 这 里 域名 


也 址 


0 果 不 指定 


于 设置 每 隔 


来 说 ， 不 要 随意 修改 系统 中 默认 配置 的 “30 分 钟 ”这 个 值 ， 特 别 是 不 能 更 改 成 一 个 过 小 的 数值 ， 这 会 导致 在 客户 端 数量 比较 大 的 工作 场景 中 ，Puppet-Server 因 为 响应 不 了 频繁 的 连接 而 发 


生 “timeout” 的 报错 。 


下 面 还 是 以 client.cn7788.com 节 点 机 器 为 例 来 验证 下 ， 大 家 可 以 观察 下 messages 系 统 日 志 ， 命 令 如 下 所 示 : 


tail - 工 /var/log/messages 


命令 显示 结果 如 下 所 示 : 

Nov 3 02:56:58 client puppet-agent[7882]: Applying configuration version '1446537314"' 
Nov 3 02:56:58 client puppet-agent[7882]: Finished catalog run in 0.38 seconds 
Nov 3 22:11:28 client puppet-agent[8340]: Reopening log files 

Nov 3 22:11:29 client puppet-agent[8340]: Starting Puppet client version 3.8.3 
Nov 3 22:11:37 client puppet-agent[8343]: Finished catalog run in 0.32 seconds 
Nov 3 22:12:57 client puppet-agent[8340]: Caught TERM; storing stop 

Nov 3 22:12:58 client puppet-agent[8340]: Processing stop 

Nov 3 22:13:00 client puppet-agent[8497]: Reopening log files 

Nov 3 22:13:01 client puppet-agent[8497]: Starting Puppet client version 3.8.3 
Nov 3 22:13:07 client puppet-agent[8500]: Finished catalog run in 0.10 seconds 
Nov 3 22:18:07 client puppet-agent[8635]: Finished catalog run in 0.40 seconds 
Nov 3 22:23:05 client puppet-agent[8766]: Finished catalog run in 0.10 seconds 
Nov 3 22:28:06 client puppet-agent[8897]: Finished catalog run in 0.35 seconds 


可 以 清楚 地 看 到 ，Puppet-Client 每 次 自动 连接 的 时 间 间 隔 都 是 5 分 钟 ， 即 300 秒 ， 从 而 验证 了 上 面 的 配置 是 正确 的 。 


5.5 ”Puppet 的 进 阶 操作 


这 里 的 操作 环境 已 按照 前 面 的 操作 示例 搭建 完毕 ， 如 下 : 


server.cn7788.com 192.168.1.205 puppet-master 
fabric.cn7788.com 192.168.1.204 puppet-client 
client.cn7788.com 192.168.1.206 puppet-client 


现在 来 清理 前 面 的 环境 ， 清 空 /etc/puppet/manifests/ 里 的 site.pp 文 件 内 容 ， 并 且 通 过 ntpdate 做 好 时 间 的 精准 对 时 ， 不 然 Puppet-Client 连 接 时 会 因为 时 间 的 关系 而 连接 不 上 。 


5.6 ”Puppet 的 负载 均衡 方式 


此 外 ， 关 于 Puppet 的 负载 均衡 方式 ， 这 里 也 要 说 明 一 下 。 


随 着 公司 应 用 需求 的 增加 ， 服 务 器 数量 也 随 之 增加 ， 当 服务 器 数量 不 断 增加 时 ， 我 们 会 发 现 一 台 Puppet Server 的 压力 变 大 ， 解 析 缓 慢 ， 而 且 时 不 时 还 会 出 现 “timeout” 之 类 的 报错 ， 那 么 有 什么 解决 
方法 吗 ? 在 Puppet 官 网 上 寻找 解决 方案 ， 会 发 现 Puppet Server 可 以 配置 多 端口 ， 结 合 轻 量 级 的 Nginx 代 理 ， 这 样 Puppet 的 承受 能 力 至 少 可 以 提升 数 倍 以 上 ， 相 当 于 在 很 大 程度 上 优化 了 Puppet 的 并 发 处 
理 能 


其 实 Nginx + Mongrel 模 式 的 原理 很 简单 ， 即 : 通过 Nginx 负 载 均衡 Puppet Server 的 进程 ， 由 Nginx 向 所 有 的 Puppet Agent 提 供认 证 服务 ， 除 此 之 外 的 其 他 Puppet Server 功 能 的 实现 ， 将 由 Nginx 转 
向 Puppet server 中 的 另 一 个 进程 处 理 完成 ， 这 样 就 极 大 地 提升 了 Puppet 的 并 发 处 理 能 


i 明 


Puppet 3.0 及 3.0 以 上 的 版 本 不 再 支持 Mongrel 模 式 ， 改 用 Nginx+Passenget 模 式 ， 这 一 点 也 请 注意 区 别 。 


5.7 ”用 GitHub 来 管理 Puppet 配 置 文件 


随 着 Puppet 节 点 机 器 的 增多 ， 其 模块 配置 文件 也 越 来 越 多 ， 越 来 越 不 方便 管理 了 ， 这 个 时 候 可 以 利用 SVN 或 Git 这 些 代 码 版 本 控制 软件 来 管理 Puppet 的 相关 配置 文件 。 


Git 与 SVN 相 比 而 言 ， 优 势 还 是 很 明显 的 ， 具 体 如 下 : 


: Git 是 分 布 式 的 ， 而 SVN 是 集中 式 的 。 


“ Git 可 以 在 无 网 络 的 环境 下 提交 ， 可 以 进行 离线 代码 提交 ， 因 此 称 得 上 是 完全 的 分 布 式 处 理 。Git 的 所 有 操作 都 不 需要 在 线 进行 ， 这 就 意味 着 Git 的 速度 要 比 SVN 等 工具 快 得 多 ， 因 为 SVN 等 工具 需要 在 
线 时 才能 操作 ， 如 果 网 络 环境 不 好 ， 提 交代 码 会 变 得 非常 缓慢 。 


“ Git 的 分 支 功能 要 比 SVN 强 大 得 多 ， 事 实 上 ， 分 支 模型 是 Git 最 显著 的 特点 。 


“ 解决 冲突 方面 Git 也 比 SVN 更 方便 。 


“GitHub 现在 越 来 越 流 行 了 ， 像 笔者 所 在 公司 采用 的 就 是 付费 的 GitHub 私 有 库 来 进行 代码 托管 的 ， 线 上 代码 的 管理 工作 感觉 相当 稳定 和 方便 。 


综 上 所 述 ， 这 里 也 推荐 大 家 采用 GitHub 的 方式 来 管理 Puppet 配 置 文件 代码 ，Git 命 令 在 Mac 和 Ubuntu 系统 下 面 都 已 经 自 带 安装 了 ， 如 果 大 家 的 办 公 机 器 是 Win8 或 Win10 系 列 ， 推 荐 用 
msysGit，msysGit 是 Git 控 制 系统 在 Windows 下 的 版 本 ， 下 载 地 址 为 https://git-for-windows.github.io/， 为 了 节约 篇 幅 ， 具 体 安装 过 程 略 过 。 


GitHub 网 址 为 https://github.com， 大 家 可 以 自行 注册 ， 然 后 建立 自己 的 版 本 库 ， 笔 者 这 里 采用 的 是 http://github.com/yuhongchunysecurity。 


下 面 来 具体 看 下 msysGit 的 使 用 步骤 : 


1) 在 电脑 的 特定 位 置 上 (笔者 这 里 是 Windows 8.1 x86 _64 的 桌面 ) 点 击 鼠 标 右键 选择 “Git Bash Shell”， 输 入 pwd 查 看 当前 位 置 ， 命 令 显示 结果 如 下 所 示 : 


/c/Users/ 洪 春 /Desktop 


2) 创建 SSH Keys 文 件 ， 输 入 如 下 所 示 命 令 : 


ssh-keygen -t rsa -C "yuhongchun027Qgmail.com" 


3) 输入 后 连续 按 3 个 回 车 ， 就 可 以 在 默认 的 文件 夹 下 生成 keys 文 件 ， 命 令 显示 结果 如 下 : 


Generating public/private rsa key pair. 

Enter file in which to save the key (/c/Users/ 洪 春 /.ssh/id rsa): 

Created directory '/c/Users/ 洪 春 / .ssh'. 

Enter passphrase (empty for no passphrase): 

Enter same passphrase again: 

Your identification has been saved in /c/Users/ 洪 春 / .ssh/id_rsa. 

Your public key has been saved in /c/Users/ 洪 春 /.ssh/id_rsa.pub. 

The key fingerprint is: 

SHA256:YR/fRVUIUZAHJPn189RB36bTYyJ+LqQXIQYxfpwh05v0U yuhongchun027@gmail .com 
The key's randomart image is: 

+--- [RSA 2048]----+ 

| .OOBoox | 

| .B. +Eo| 

| + +.=+. B| 

| .© *.+oBo| 

| | 

| . Oo| 

| http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15 
| Pe 

| ohttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15807/' 
===" [SHAZS6] 


807/0EBPS/Text/..| 


OEBPS/Text/..o . | 


4) 用 编辑 器 打开 id_rsa.pub 文 件 ， 这 里 采 


刚才 选择 的 公 钥 文 件 内 容 ， 还 可 以 取 一 个 自己 定义 的 名 字 ， 如 图 5-3 所 示 。 


Personal settings Need help? Check out our guide to generating SSH keys or 


Profile SSH keys 


Account settings 


的 是 Sublime Text 3， 将 其 内 容 全 部 复制 。 然 后 打开 自己 的 GitHub 主 页 ， 选 择 “SSH Keys” 菜 单 ， 点 击 “Add SSH key” 选 项 ， 在 最 下 面 的 空白 框 里 复制 


troubleshoot common SSH Problems 


Add SSH key 


This is a list of SSH keys associated with your account. Remove any keys that you do not recognize 


Emails 


yuhongchun 


Notification center 
7d:c3:1f:b9:8f:7b:73:16:;74 


A 


:62:08:b4:63:44:31:11 


Added on 19 Mar 2015 — Last used within the last 3 weeks 


Billing 


SSH keys Fabric 


Security 


Applications 
Home 


Personal access tokens da:35:bO:9e:a3:2c:1c:4e:bc:42:1c: 
Repositories 


Organizations Home-win8.1-wk 


A 
A 
A 


Added on 11 Nov 2015 — Last used within the | 
Organization settings 


图 5-3 ”GitHub 添 加 SSH Key 图 示 


5) 回 到 Git Bash 当 中 ， 输 入 如 下 命令 进行 测试 : 


d9:94:58:;a0:a2:79:1b:;41:8d:;88:a0:34:58:55;8b:a7 
Added on 13 Aug 2015 — Last used within the last 3 months 


11:8d:b9:1c:31 
Added on 29 Aug 2015 — Last used within the last 2 months 


ac:b2:e5:7e:f0:ad:bf:3d:09:e1:b6:4f:0a:39:dd:6d 


ast day 


ssh -T git@github.com 


命令 显示 结果 如 下 : 


np 


Hi yuhongchun! You've successfully authenticated, but GitHub does not provide shell access. 


结果 表示 一 切 正常 ， 接 下 来 就 可 以 通过 git clone 命 令 加 载 自己 的 版 本 库 了 ， 命 令 如 下 所 示 : 


git clone git@github.com:yuhongchun/security.git 


注意 这 里 的 格式 ， 如 果 写 成 git: //github.com/yuhongchun/security.git， 那 么 客户 端的 URL 请 求 是 可 读 模 式 ， 写 成 g 


当然 了 ， 也 可 以 选择 HTTPS 协 议 , 但 Git 协 议 是 Git 使 用 的 网 络 传输 协议 里 最 快 的 ， 这 也 是 我 没有 选择 HTTPS 协 议 的 原因 


6) 向 GitHub 提 交 自 己 的 名 字 和 上 邮箱 。 


在 此 之 前 还 需要 设置 username 和 email, 


it@github.com: yuhongchun/security.git 这 样 的 格式 才 是 可 写 的 模式 。 


， 命 令 执行 成 功 以 后 ， 就 在 本 地 的 办 公 机 器 上 克隆 一 个 本 地 版 本 库 。 


为 GitHub 每 次 提交 都 会 记录 它们 ， 下 面 笔者 还 是 以 自己 的 名 字 和 E-mail 邮 箱 地 址 来 举例 说 明 ， 命 令 如 下 : 


git config --global user.name "your name" 
git config --global user.email "your email@youremail .com" 


7) 向 自己 的 GitHub 提 交代 码 ， 以 init.pp 文 件 为 例 ， 先 将 init.pp 复 制 粘贴 到 本 地 的 security 目 录 下 面 ， 执 行 下 面 的 步骤: 


git adqd init.pp # 添 加 init.pp 至 本 地 版 本 库 的 暂时 区 
git comit -m "the apache module" # 向 本 地 版 本 库 提交 init .pp 
git push # 向 自己 的 GitHub 版 本 库 提交 代码 


正确 提交 init.pp 以 后 ， 就 可 以 在 其 GitHub 上 面 看 到 所 提交 的 代码 ， 也 就 可 以 像 管理 我 们 的 代码 一 样 管理 其 Puppet 配 置 文件 了 ， 如 图 5-4 所 示 。 


另外 ， 补 充 一 个 小 知识 点 ， 要 是 想 把 Apache 整 个 目录 git push 至 GitHub 上 面 去 ， 却 发 现 不 能 上 传 下 面 的 空 目 录 files， 这 里 什么 原因 呢 ? 


具体 原因 如 下 : Git 和 SVN 不 同 ， 它 仅 跟踪 文件 的 变动 ， 而 不 跟踪 目录 。 所 以 ， 一 个 空 目 录 如 果 里 面 没有 文件 ， 即 便 Git 加 载 了 这 个 目录 ， 也 是 没有 任何 效果 的 ， 版 本 库 是 不 会 做 任何 记录 的 。 只 跟踪 文 
件 变化 ， 不 跟踪 目录 ，Git 这 么 设计 是 有 原因 的 ， 但 这 也 会 带 来 一 些小 麻烦 。 有 时 候 ， 确 实 需要 在 代码 仓库 中 保留 某 个 空 目 录 。 比 如 ， 若 要 提交 Apache 的 所 有 子 目录 就 会 出 现 问题 ， 但 我 们 可 以 采用 一 个 变 
通 的 解决 办 法 ， 那 就 是 在 空 目录 files 下 存 一 个 .gitignore 文 件 〈.gitignore 文 件 的 作用 是 列 出 不 希望 Git 跟 踪 的 文件 和 文件 夹 ) 。 做 好 这 些 以 后 ， 就 可 以 顺利 执行 git add 和 git push 命 令 了 ， 步 又 如 下 : 


Ba My_Python 19 hours 

国 .gitignore 19 hours 

国 check_cpu_counter sh 19 hours 

国 check_cpu_utilization.sh 19 hours 

国 check ip _connects_sh 19 hours 
_ip_ 

国 check_redis py 19 hours 

国 check_sync_redis.sh 19 hours 
_SyNC_ 

国 definition 19 hours 

py 

国 echo limit.sh 19 hours 

国 fiter-firewall.sh 19 hours 

国 ftp.py 19 hours 


国 init.pp thd apache module 2 minutes ago 


国 lambda.py 19 hours ago 


国 nginx-ha_sh 19 hours ago 
国 ping.py 19 hours ago 
国 rsync_host file.py 19 hours ago 
国 rsync_nagios_ ipcon.py 19 hours ago 


国 rsync_nagios_nrpe.py 19 hours ago 


图 5-4 ” GitHub 网 站 版 本 库 文 件 明细 图 


git add apache 
git commit -m "the apache module" 
git push 


顺利 的 话 ， 在 自己 的 GitHub 版 本 库 上 就 能 看 到 Apache 目 录 的 所 有 子 目 录 及 其 文件 了 。 


一 般 来 说 ， 公 司 的 项 目 或 网 站 会 分 成 三 种 环境 : 开发 环境 、 测 试 环境 和 线 上 环境 ， 将 其 放 在 哪个 环境 的 Git 中 ， 这 个 就 要 视 公 司 的 环境 而 定 了 ， 就 笔者 的 公司 而 言 ， 线 上 环境 的 变动 是 最 大 的 ， 所 以 主要 
是 利用 线 上 环境 的 Git 来 对 Puppet 配 置 文件 进行 管理 ， 在 每 一 次 提交 其 Puppet 改 动 后 的 配置 文件 时 ， 笔 者 都 会 记录 其 详细 的 git log 日 志 ， 这 样 回 退 Puppet 配 置 文件 的 旧版 本 时 就 有 据 可 查 了 。 


5.8 小 结 


分 布 式 自动 化 部 署 管理 工具 Puppet 这 个 软件 越 来 越 成 熟 和 强大 了 ， 它 有 着 很 好 的 发 展 前 景 ， 由 于 业务 环境 的 关系 ， 这 里 只 简单 介绍 了 自动 化 部 署 管 理工 具 Puppet 的 安装 、 部 署 及 平时 工作 的 常见 用 法 ， 像 
Puppet 的 控制 台 产 品 Dashboard 和 Foreman 都 没有 涉及 ， 有 兴趣 的 朋友 可 以 结合 实际 工作 尝试 研究 Puppet 更 高 级 的 用 法 。 


第 6 章 Linux 防火 墙 及 系统 安全 篇 


系统 安全 可 以 说 是 系统 运 维 的 最 基本 要 求 了 ， 如 果 连 这 一 点 都 保证 不 了 ， 其 他 运 维 工作 都 是 空谈 。 这 一 章 首 先 会 向 大 家 介绍 Linux 下 的 防火 墙 iptables 的 详细 使 用 方法 ， 它 对 系统 安全 的 作用 ， 以 及 它 在 普 
通 服务 器 和 AWS EC2 云 主机 上 的 应 用 ， 然 后 会 介绍 Linux 服 务 器 下 的 安全 防护 技术 。 初 学 Linux 防 火 墙 的 读者 朋友 可 能 会 觉得 iptables 语 法 复杂 ， 又 是 在 纯 字符 下 操作 的 《AWS EC2 云 主机 的 安全 组 件 操作 是 图 
形 化 操作 ， 较 容易 上 手 ) ， 不 易学 习 ， 其 实 只 要 掌握 正确 的 学 习 方法 ， 严 格 按 照 iptables 的 语法 规则 来 执行 ， 循 序 渐进 ， 上 手 也 是 件 很 容易 的 事情 。 学 习 iptables 跟 学 习 英 语 一 样 ， 都 是 有 语法 和 规律 可 言 的 ， 
建议 大 家 参考 笔者 所 提供 的 iptables 学 习 脚本 和 iptables 线 上 脚本 来 学 习 ， 在 了 解 iptables 的 语法 规则 后 ， 相 信 很 快 就 可 以 掌握 iptables 的 用 法 了 。 


6.1 基础 网 络 知识 


这 一 节 将 向 大 家 介绍 关于 网 络 的 几 个 知识 点 ， 理 解 这 些 基础 的 知识 点 ， 对 理解 以 后 的 Linux 防 火 墙 iptables 的 工作 流程 会 很 有 帮助 。 


6.2 Linux 防 火 墙 的 概念 


Linux 防 火 墙 其 实 并 不 是 特别 专业 的 叫 法 ， 我 们 所 说 的 Linux 防 火 墙 其 实 指 的 是 Linux 下 的 Netfilter/iptables。 Netfilter/iptables 是 Linux 内 核 集成 的 IP 信 息 包 过 滤 系 统 。 


虽然 Netfilter/iptables IP 信 息 包 过 滤 系 统 可 当 作 一 个 整体 来 看 待 ， 但 其 实 它们 是 该 过 滤 系统 的 两 个 组 件 ，Netfilter 是 内 核 的 模块 实现 ，iptables 是 上 层 的 操作 工具 。Netfilter 是 Linux 核 心中 的 一 个 通 
架构 ， 运 行 在 内 核 空间 (kernel space) 。iptables 提 供 了 一 系列 的 表 (tables) ， 每 个 表 都 由 若干 个 链 (chains) 组 成 ， 而 每 条 链 中 可 以 由 一 条 或 数 条 规则 (rule) 组 成 (我 们 常用 的 是 其 中 的 三 表 五 

链 ) ， 其 规则 又 是 由 一 些 信息 包 过 滤 表 组 成 ， 这 些 表 包含 内 核 用 来 控制 信息 包 过 滤 处 理 的 规则 集 。iptables 是 一 个 管理 内 核 包 过 滤 的 工具 ， 可 以 加 入 、 插 入 或 删除 核心 包 过 滤 表 格 中 的 规则 。 它 运行 在 用 户 
空间 (user space) 中 ， 现 在 的 发 行 版 本 中 默认 都 有 安装 ， 但 如 果 是 在 一 些 精简 的 系统 上 则 可 能 无 此 工具 ， 需 要 单独 安装 。 实 际 上 真正 执行 这 些 过 滤 规 则 的 是 Netfilter。 相 对 于 Linux2.2 内 核 提供 的 |P 链 来 


说 ，iptables 实 现 的 不 仅仅 是 包 过 滤 功 能 ， 而 是 通过 Netfilter 实 现 了 一 整套 框架 结构 ， 在 这 个 框架 之 上 其 实现 了 包 过 滤 、NAT 等 模块 功能 ， 从 而 提供 了 更 好 的 可 扩展 性 和 灵活 性 。 


Netfilter/iptables 的 最 大 优点 是 它 可 以 配置 有 状态 的 防火 墙 ， 这 是 ipfwadm 和 ipchains 等 之 前 的 工具 所 无 法 提供 的 一 种 重要 功能 。 有 状态 的 防火 墙 能 够 指定 并 记 住 为 发 送 或 接收 信息 包 所 建立 的 连接 状 
态 。 防 火 墙 可 以 从 信息 包 的 连接 跟踪 状态 中 获得 该 信息 。 在 决定 过 滤 新 的 信息 包 时 ， 防 火 墙 所 使 用 的 这 些 状态 信息 可 以 提高 其 效率 和 速度 。 这 里 有 4 种 有 效 状 态 ， 其 名 称 分 别 为 ESTABLISHED、INVALID、 
NEW 和 RELATED。 


“ ESTABLISHED 表 示 该 信息 包 属 于 已 建立 的 连接 ， 该 连接 一 直 用 于 发 送 和 接收 信息 包 并 且 完 全 有 效 。 
“ INVALID 表 示 该 信息 包 与 任何 已 知 的 流 或 连接 都 不 相关 联 ， 它 可 能 包含 了 错误 的 数据 或 头 。 
“ NEW 表 示 该 信息 包 已 经 或 即将 启动 新 的 连接 ， 或 者 它 与 尚未 用 于 发 送 和 接收 信息 包 的 连接 相关 联 。 


:RELATED 表示 该 信息 包 正 在 启动 新 连接 ， 以 及 它 与 已 建立 的 连接 相关 联 的 连接 。 由 于 iptables 的 状态 会 在 iptables 脚 本 里 用 得 比较 多 ， 因 此 在 后 面 的 6.5 节 中 介绍 iptables 基 础 知识 时 将 会 进行 详细 说 明 。 


Netfilter/iptables 的 男 一 个 重要 优点 是 ， 它 使 得 用 户 可 以 完全 控制 防火 墙 的 配置 和 信息 包 过 滤 ， 可 以 通过 定制 规则 来 满足 自己 的 特定 需求 ， 从 而 只 允许 自己 想 要 的 网 络 流量 进入 系统 。 


另外 ，Netfilter/iptables 是 免费 的 ， 这 对 于 那些 想 要 节省 费用 的 人 来 说 十 分 理想 ， 它 可 以 代替 昂贵 的 防火 墙 解决 方案 。 附 带 说 明 一 下 ，iptables 和 Netfilter 的 确 存 在 差别 ， 尽 管 它 们 经 常 被 用 来 相互 蔡 
换 使 用 ，Netfilter 是 用 来 实现 Linux 内 核 中 防火 墙 的 Linux 内 核 空间 程序 代码 段 ， 它 要 么 被 直接 编译 进 内 核 ， 要 么 被 包含 在 模块 中 。 而 iptables 是 用 来 管理 Netfilter 防 火 墙 的 用 户 程序 ， 在 这 里 统一 将 
Netfilter/iptables 简 称 为 iptables。 


6.3 “” Linux 防火墙 在 企业 中 的 应 用 


Linux 防 火 墙 ( 即 Netfilter/iptables 1P 过 滤 系统 ) 在 企业 中 的 应 用 非常 广泛 ， 那 么 ， 它 究竟 应 用 到 哪些 方面 了 呢 ? 


“ 对 于 IDC 机 房 的 服务 器 ， 可 以 用 Linux 防 火 墙 来 代替 硬件 机 防火 墙 ， 由 于 IDC 机 房 的 机 器 一 般 是 没有 硬件 防火 墙 的 ， 因 此 使 用 开源 免费 的 iptables 是 一 个 性 价 比 比较 高 的 选择 。 


“ 在 AWS EC2 云 主机 上 也 得 到 了 更 广泛 的 应 用 ， 而 且 是 通过 AWS 的 控制 台 图 形 化 操作 的 ， 使 用 起 来 更 为 直观 方便 ， 如 图 6-4 所 示 。 图 6-4 中 ， 菜 单 中 的 “入 站 ”代表 的 是 INPUT 链 ，“ 出 站 ”代表 的 是 
OUTPUT 链 ，AWS 控 制 将 规则 整合 成 了 安全 组 (secutity group) 的 格式 ， 新 增 的 EC2 云 主机 可 以 直接 套用 几 个 安全 组 的 规则 ， 如 果 是 批量 新 增 的 EC2 主 机 需要 改动 的 话 则 会 非常 灵活 ， 如 图 6-5 所 示 。 


习 网络 与 安全 


| 安全 组 摘 述 | 入 站 | 出 站 标签 


弹性 IP 组 名 ntp 
置 放 群 组 组 ID sg-993ed4td 


密 钥 对 
网 络 接口 


司 负 笑 平 寅 
负载 均 获 器 


图 6-4 AWS 的 控制 台 网 络 与 安全 配置 图 示 


组 1D 组 名 VPC ID 手球 


sg-7df00c1a launch-wizard-4 vpc-8f6ediea launch-wizard-4 creat 
59-834857e6 redis vpc-8f6ed1ea redis-server-rule 
s9-83a0b1e7 redis_cluster_rule_new vpc-8f6ed1iea new redis cluster rule 
39-993ed4fd ntp vpc-8f6ed1ea ntp 


sg-ccd0fea8 launch-wizard-2 VPc-8f6ed1ea launch-wizard-2 creat 


图 6-5 AWS EC2 云 主机 的 安全 组 创建 菜单 图 示 
利用 iptables 来 作为 企业 的 NAT 路 由 器 ， 从 而 代替 传统 的 路 由 器 供 企业 内 部 员工 上 网 之 用 ， 在 节约 成 本 和 进行 有 效 控制 上 ，Linux 防 火 墙 确实 有 它 独 有 的 优势 。 


: 结合 Squid 作 为 企业 内 部 上 网 的 透明 代理 。 传 统 的 代理 需要 在 浏览 器 里 配置 代理 服务 器 信息 ， 而 iptables 结 合 Squid 的 透明 代理 则 可 以 把 客户 端的 请 求 重 定向 到 代理 服务 器 的 端口 ， 让 客户 端 感觉 不 到 代理 
的 存在 ， 当 然 ， 客 户 端 也 无 须 做 任何 代理 设置 。 


“ 用 于 外 网 IP 向 内 网 IP 上 映射。 我 们 可 以 假设 有 一 家 ISP 提 供 园 区 Internet 接 入 服务 ， 为 了 方便 管理 ， 该 ISP 分 配给 园区 用 户 的 IP 地 址 都 是 内 网 IP， 但 是 部 分 用 户 要 求 建立 自己 的 Web 服 务 器 对 外 发 布 信息 ， 
时 ， 可 以 在 防火 墙 的 外 部 网 卡 上 绑 定 多 个 合法 IP 地 址 ， 然 后 通过 IP 映 射 使 发 给 其 中 某 一 个 IP 地 址 的 包 转 发 至 内 部 用 户 的 Web 服 务 器 上 ， 这 样 内 部 的 Web 服 务 器 也 就 可 以 对 外 提供 服务 了 ， 这 种 形式 的 NAT 一 般 
称 为 DNAT。 有 后面 的 集群 架构 环节 中 ， 经 常 将 负载 均衡 器 的 内 网 VIP 的 80 和 443 端 口 通过 防火 墙 映射 成 公 网 IP 的 80 和 443 端 口 ， 这 也 是 DNAT 的 实现 形式 之 一 。 


. 防止 轻 量 级 的 DOS 攻 击 ， 比 如 ping 攻 击 及 SYN 洪 水 攻击 ， 我 们 利用 iptables 来 做 相关 安全 策略 还 是 很 有 效果 的 。 


6.4 ”Linux 防 火 墙 的 语 ; 


对 于 数据 报 而 言 ， 有 以 下 几 个 流向 : 
PREROUTING 一 FORWARD 一 POSTROUTING 


PREROUTING 一 INPUT 一 本 机 OUTPUT 一 POSTROUTING 


如 果 留 意 可 能 会 发 现 ， 数 据 报 的 两 种 主要 流向 其 实 也 是 后 面 iptables 的 两 种 工作 模式 : 一 是 用 作 NAT 路 由 器 ， 另 一 种 是 用 作 主 机 防火 墙 ， 所 以 对 应 地 要 在 iptables 的 规则 链 上 做 文章 (工作 中 多 用 于 主机 
防火 墙 ， 大 家 也 可 以 将 学 习 的 重心 放 在 这 点 上 ) 。 更 为 详细 的 iptables 数 据 流入 和 流出 流程 ， 建 议 参考 图 6-6。 


EA 的 数据 包 流 ! 上 的 数据 包 


PREROUTING 一 > ， POSTROUTING 


内 部 传 


图 6-6 iptables 数 据 包 流 入 和 流出 详细 流程 


iptables 会 根据 不 同 的 数据 处 理 包 处 理 功能 使 用 不 同 的 规则 表 。 它 包括 如 下 3 个 表 : filter、nat 和 mangle。 


.filter 是 默认 的 表 ， 包 含 真正 的 防火 墙 过 滤 规 则 。 内 建 的 规则 链 包括 : INPUT、OUTPUT 和 FORWARD。 


“ nat 表 包含 源 、 目 的 地 址 及 端口 转换 使 用 的 规则 ， 内 建 的 规则 链 包 括 PERROUTING、OUTPUT 和 POSTROUTING。 


:mangle 表 包含 用 于 设置 特殊 的 数据 包 路 由 标志 的 规则 。 随 后 flter 表 中 的 规则 会 检查 这 些 标志 。 内 建 的 规则 链 包括 : PREROUTING、INPUT、FORWARD、POSTROUTING 和 OUTPUT。 


表 中 对 应 的 相关 规则 链 的 功能 如 下 。 


“ INPUT 链 : 当 一 个 数据 包 由 内 核 中 的 路 由 计算 确定 为 本 地 的 Linux 系 统 后 ， 它 会 通过 INPUT 链 的 检查 。 


" OUTPUT 链 : 保留 给 系统 自身 生成 的 数据 包 。 


“FORWARD 链 : 经 过 Linux 系 统 路 由 的 数据 包 ( 即 当 ipbtables 防 火 墙 用 于 连接 两 个 网 络 时 ， 两 个 网 络 之 间 的 数据 包 必须 流 经 该 防火 墙 ) 。 


" PREROUTING 链 : 用 于 修改 目的 地 址 


(DNAT) 。 


“ POSTROUTING 链 : 用 于 修改 源 地 址 (SNAT) 。 


iptables 详 细 语 法 如 下 所 示 : 


iptables [-t 表 名 ] <-A| 工 |D |R > 链 名 [规则 编号 ] [- | @ 网 卡 名 称 ] [-P 协议 类 型 ] [-s 源 IP 地 址 | 源 子 网 ] [--sport 源 端口 号 ] 


[-d 目标 IP 地 址 | 目标 子 网 ] [--dport 目标 端口 号 ] <-j 动作 > 


注意 


此 语法 规则 详细 ， 逮 辑 清晰 ， 推 荐 记忆 此 语法 格式 。 在 刚 开始 写 iptables 规 则 时 就 应 该 养 成 良好 的 习惯 ， 用 此 语法 格式 来 规范 脚本 ， 这 对 以 后 的 工作 会 大 有 帮助 。 


下 面 是 关于 语法 的 详细 说 明 。 


(1) 定义 默认 策略 


作用 : 当 数 据 包 不 符合 链 中 任意 一 条 规则 时 ，iptables 将 根据 该 链 预 先 定义 的 默认 策略 来 处 理 数据 包 。 


默认 策略 的 定义 格式 为 : 


iptables  [-t 表 名 ] <-P> < 和 链 名 > 


< 动作 > 


参数 说 明 如 下 : 


[-t 表 名 ] 


指 将 默认 策略 应 用 于 哪个 表 ， 可 以 使 用 filter、nat 和 mangle， 如 果 没 有 指定 使 用 哪个 表 ，iptables 就 默认 使 用 filter 表 。 


定义 默认 策略 。 


< 链 名 > 


指 将 默认 策略 应 用 于 哪个 链 ， 可 以 使 用 NPUT、OUTPUT、FORWARD、PREROUTING 和 POSTROUTING。 


< 动作 > 


处 理 数 据 包 的 动作 ， 可 以 使 用 ACCEPT (接受 数据 包 ) 和 DROP (丢弃 数据 包 ) 。 


(2) 查看 iptables 规 则 


查看 iptables 规 则 的 命令 格式 为 : 


iptables  [-t 表 名 ] <-L>  [ 链 名 ] 


参数 说 明 如 下 : 


[-t 表 名 ] 


指 查看 哪个 表 的 规则 列表 ， 表 名 可 以 使 


filter、nat 和 mangle， 如 果 没 有 指定 使 用 哪个 表 ，iptables 就 默认 查看 filter 表 的 规则 列表 。 


<-L> 


查看 指定 表 和 指定 链 的 规则 列表 。 


[ 链 名 ] 


指 查 看 指定 表 中 哪个 链 的 规则 列表 ， 可 以 使 用 INPUT、OUTPUT、FORWARD、PREROUTING 和 POSTROUTING， 如 果 不 指明 哪个 链 ， 则 将 查看 某 个 表 中 所 有 链 的 规则 列表 。 


(3) 增加 、 插 入 、 删 除 、 蔡 换 iptables 规 则 


参数 说 明 如 下 : 


[-t 表 名 ] 


定义 将 默认 策略 应 用 于 哪个 表 ， 可 以 使 


fiter、nat 和 mangle， 如 果 没 有 指定 使 用 哪个 表 ，iptables 就 默认 使 


filter 表 。 


-A 


新 增加 一 条 规则 ， 该 规则 将 会 增加 到 规则 列表 的 最 后 一 行 ， 该 参数 不 能 使 用 规则 编号 。 


插入 一 条 规则 ， 原 本 该 位 置 上 的 规则 将 会 往 后 顺序 移动 ， 如 果 没有 指定 规则 编号 ， 则 在 第 一 条 规则 前 插入 。 


“了 


从 规则 列表 中 删除 一 条 规则 ， 可 以 输入 要 删除 的 完整 规则 ， 或 者 直接 指定 规则 编号 加 以 删除 。 


-R 


替换 某 条 规则 ， 规 则 被 替换 并 不 会 改变 顺序 ， 必 须要 指定 被 替换 的 规则 编号 。 


< 链 名 > 


指定 查看 表 中 哪个 链 的 规则 列表 ， 可 以 使 用 NPUT、OUTPUT、FORWARD、PREROUTING 和 POSTROUTING。 


[规则 编号 ] 


规则 编号 在 插入 、 删 除 和 蔡 换 规则 时 使 用 ， 编 号 是 按照 规则 列表 的 顺序 排列 的 ， 规 则 列表 中 第 一 条 规则 的 编号 为 1。 


[-i | o 网 卡 名 称 ] 


悍 指 定数 据 包 从 哪 块 网 卡 进入 ，o% 是 指定 数据 包 从 哪 块 网 卡 输出 。 网 卡 名 称 可 以 使 用 ppp0、eth0 和 eth1 等 。 


[-P 协 议 类 型 ] 


可 以 指定 规则 应 用 的 协议 ， 包 含 TCP、UDP 和 ICMP 等 。 


[-s 源 IP 地 址 | 源 子 网 ] 


-s 后 面 接 源 主机 的 IP 地 址 或 子 网 地 址 。 


[--SPort 源 端口 号 ] 


--Sport 后 面 接 数 据 包 的 IP 源 端 


员 


[-d 目 标 ITP 地 址 | 目标 子 网 ] 


-d 后 面 接 目标 主机 的 IP 地 址 或 子 网 地 址 。 


[--dport 目 标 端口 号 ] 


--dport 后 面 接 数据 包 的 IP 目 标 端口 号 。 


<-j 动 作 > 


下 面 是 处 理 数据 包 的 动作 ， 以 及 各 个 动作 的 详细 说 明 。 

“ ACCEPT: 接收 数据 包 。 

" DROP: 丢弃 数据 包 。 

“REDIRECT: 将 数据 包 重 新 转向 到 本 机 或 另 一 台 主 机 的 某 一 个 端口 ， 通 常 实现 透明 代理 或 对 外 开放 内 网 的 某 些 服 务 。 

REJECT: 拦截 该 数据 封包 ， 并 发 回 封 包 通 知 对 方 。 

“ SNAT: 源 地 址 转换 ， 即 改变 数据 包 的 源 地 址 。 例 如 : 将 局 域 网 的 IP (10.0.0.1/24) 转化 为 广域网 的 IP (203.93.236.141/24) ， 在 NAT 表 的 POSTROUTING 链 上 进行 该 动作 。 

DNAT: 目标 地 址 转换 ， 即 改变 数据 包 的 目标 地 址 。 例 如 : 将 广域网 的 IP (203.93.236.141/24) 转化 为 局 域 网 的 IP (10.0.0.1/24) ， 在 NAT 表 的 PREROUTING 链 上 进行 该 动作 。 

. MASQUERADE: IP 伪 装 ， 即 常 说 的 NAT 技 术 ，MASQUERADE 只 能 用 于 ADSL 等 拨号 上 网 的 IP 伪 装 ， 也 就 是 主机 的 IP 是 由 ISP 动 态 分 配 的 ， 如 果 主 机 的 JP 地址 是 静态 固定 的 ， 就 要 使 用 SNAT。 
"LOG: 日 志 功 能 ， 将 符合 规则 的 数据 包 的 相关 信息 记录 在 日 志 中 ， 以 便 管理 员 的 分 析 和 排 错 。 


(4) 清除 规则 和 计数 器 


在 新 建 规 则 时 ， 往 往 需 要 清除 原 有 的 旧 规 则 ， 以 免 它们 影响 新 设 定 的 规则 。 如 果 规 则 比较 多 ， 逐 条 删除 就 会 十 分 麻烦 ， 这 时 可 以 使 用 iptables 提 供 的 清除 规则 参数 达到 快速 删除 所 有 的 规则 的 目的 。 


定义 参数 的 格式 为 : 


iptables  [-t 表 名 ] <-F | 2> 


参数 说 明 如 下 : 


[-t 表 名 ] 


指定 将 默认 策略 应 用 于 哪个 表 ， 可 以 使 用 filter、nat 和 mangle， 如 果 没 有 指定 使 用 哪个 表 ，iptables 就 默认 使 用 filter 表 。 


= 了 


通过 如 下 命令 删除 指定 表 中 的 所 有 规则 。 


将 指定 表 中 的 数据 包 计数 器 和 流量 计数 器 归 零 。 


6.5 iptables 的 基础 知识 


6.5.1 iptables 的 状态 state 


6.2 节 里 提 到 过 state 这 个 定义 ， 这 里 将 解释 一 下 iptables 防 火 墙 的 状态 (state) 。 


比如 ， 当 我 们 用 PieTTY 远 程 工具 访问 远程 主机 的 SSH 端 口 时 ， 主 机 会 和 远程 主机 进行 通信 。 此 时 ， 静 态 的 防火 墙 会 这 样 处 理 : 


仁 查 进入 机 器 的 数据 包 ， 发 现 数据 的 来 源 是 22 端 口 ， 当 这 些 数 据 包 被 允许 时 进入 主机 本 身 ， 连 接 之 后 相互 通信 的 数据 也 一 样 ， 检 查 每 个 数据 ， 如 果 发 现 数据 包 来 源 于 22 端 口 ， 则 允许 通过 。 


如 果 使 用 有 状态 的 防火 墙 将 如 何 处 理 呢 ? 


在 连接 远程 主机 成 功 之 后 ， 主 机 会 把 这 个 连接 记录 下 来 ， 当 有 数据 从 远程 SSH 服 务 器 进入 你 的 机 器 时 ， 它 会 检查 自己 的 连接 状态 表 ， 如 果 发 现 这 个 数据 来 源 于 一 个 已 经 建立 的 连接 ， 则 允许 这 个 数据 包 
进入 。 


以 上 两 种 处 理 方法 中 ， 很 明显 静态 防火 墙 比较 生硬 ， 而 iptables 防 火 墙 则 相对 智能 一 些 ， 这 也 是 iptables 防 火 墙 的 特点 之 一 。 


下 面 将 解释 以 下 几 种 state 状 态 。 


“NEW: 如 果 你 的 主机 向 远程 机 器 发 出 一 个 连接 请 求 ， 这 个 数据 包 的 状态 就 是 NEW。 
“ ESTABLISHED: 在 连接 建立 之 后 (完成 TCP 的 三 次 握手 后 ) ， 远 程 主机 和 你 的 主机 通信 数据 的 状态 为 ESTABLISHED。 


* RELATED: 和 现 有 联机 相关 的 新 联机 封包 。 像 FTP 这 样 的 服务 ， 用 21 端 口传 送 命令 ， 而 用 20 端 口 (port 模 式 ) 或 其 他 端口 (PASV 模 式 ) 传送 数据 。 在 已 有 的 21 端 口上 建立 好 连接 后 发 送 命令 ， 用 20 或 
其 他 端口 传送 的 数据 (FTP-DATA) ， 其 状态 是 RELATED。 


:INVALID: 无 效 的 数据 包 ， 不 能 被 识别 属于 哪个 连接 或 没有 任何 状态 ， 通 常 这 种 状态 的 数据 包 会 被 丢弃 。 
有 了 以 上 基础 知识 后 ， 接 下 来 就 可 以 进行 一 个 简单 的 实验 了 。 


首先 ， 还 是 来 设置 默认 规则 ， 命 令 如 下 所 示 。 


iptables -P INPUT DROP 


这 样机 器 会 将 进入 主机 的 所 有 数据 都 丢弃 掉 ， 建 议 大 家 写 iptables 脚 本 时 首先 默认 禁止 一 切 连 接 ， 然 后 再 根据 应 用 或 需求 开放 相应 的 端口 。 


如 果 有 一 台 主 机 只 用 于 个 人 桌面 应 用 ， 也 就 是 此 主机 不 提供 任何 服务 ， 那 么 ， 就 可 以 禁止 其 他 的 机 器 向 该 主机 发 送 任何 连接 请 求 ， 命 令 如 下 : 


iptables -A INPUT -m state --state NEW -j DROP 


这 个 规则 是 将 发 送 到 该 主机 的 所 有 数据 包 (状态 是 NEW 的 包 ) 全 部 丢弃 。 也 就 是 不 允许 其 他 的 机 器 主动 发 起 对 该 主机 的 连接 ， 但 是 该 主机 却 可 以 主动 连接 其 他 的 机 器 ， 不 过 仅仅 是 连接 而 已 ， 连 接 之 后 
的 数据 就 是 ESTABLISHED 状 态 的 。 这 时 ， 再 加 上 下 面 这 一 条 语句 ， 其 作用 是 允许 所 有 已 经 建立 连接 ， 或 者 与 之 相关 的 数据 通过 : 


iptables -A INPUT -m state --state ESTABLISHED,RELATED -]j ACCEPT 


现在 根据 上 面 的 语句 编写 一 个 简单 的 iptables 脚 本 ， 作 为 个 人 桌面 主机 的 防火 墙 ， 脚 本 如 下 : 


#/bin/bash 

iptables -F 

iptables -F -t nat 
iptables -Xx 

iptables -2Z 

iptables -P INPUT DROP 
iptables -A INPUT -m state --state NEW -j DROP 

iptables -A INPUT -m state -~-state ESTABLISHED,RELATED -j] ACCEPT 


给 此 脚本 x 权限 ， 命 令 如 下 : 


chmod +x iptables.sh 


前 面 几 条 语句 是 将 其 默认 规则 全 部 清除 掉 ， 让 此 脚本 后 面 的 语句 生效 。 


其 实 ， 第 二 条 可 以 被 注释 掉 ， 那 一 条 规则 完全 可 以 省 去 ， 让 默认 规则 处 理 即 可 。 


是 不 是 很 简单 呢 ? 对 于 个 人 桌面 应 用 来 说 ， 只 需要 用 刚才 介绍 的 那 两 条 语句 ， 就 能 让 你 接 入 Internet 网 的 主机 足够 安全 。 而 且 可 以 随意 访问 Internet， 但 是 外 部 却 不 能 主动 发 起 对 你 机 器 的 连接 。 


可 以 看 到 ， 有 状态 的 防火 墙 比 静态 防火 墙 要 “智能 ”一 些 ， 而 且 规 则 的 设置 也 容易 一 些 。 


执行 以 上 脚本 后 ， 查 看 一 下 iptables 规 则 ， 命 令 如 下 : 


iptables -nv -L 


命令 显示 结果 如 下 : 


Chain INPUT (policy DROP 0 packets、 0 bytes) 


pkts bytes target prot opt in out source destination 
0 0 DR 


Ct 
aAll ~= 本 人 0.0.0.0/0 
37 2520 ACCEPT all = 一 * 汪 600D2070 dn 
RELATED、 ESTABLISHED 
Chain FORWARD (policy ACCEPT 0 packets、 0 bytes) 


pkts bytes target prot opt in out source destination 
Chain OUTPUT (policy ACCEPT 1532 eo 1224K bytes) 
pkts bytes target prot opt in out source destination 


另外 ， 在 执行 以 上 脚本 后 ， 我 们 会 发 现 此 机 器 会 拒绝 一 切 的 数据 接 入 ， 但 是 原先 的 SSH 并 没有 被 断 开 ?这 是 为 什么 呢 ， 


这 是 因为 “iptables-A INPUT-m state--state ESTABLISHED，RELATED-j 


ACCEPT” 这 段 代 码 发 挥 了 作用 ， 我 们 原先 建立 的 连接 还 存在 ， 所 以 主机 不 会 将 此 ESTABLISHED 连 接 断 掉 ，state 的 优势 在 这 里 发 挥 得 淋漓 尽 致 。 


注意 


以 上 脚本 在 实验 环境 下 尝试 即 可 ， 切 勿 应 用 于 生产 服务 器 ， 因 为 默认 会 拒绝 一 切 连接 的 。 


6.6 ”如 何 流程 化 编写 iptables 脚 本 


(1) 根据 需求 调整 系统 内 核 


例如 TCP 的 SYN 缓 冲 (syncookies) 是 一 种 快速 检测 和 防御 SYN 洪 水 攻击 的 机 制 ， 如 下 的 命令 可 以 启 


echo "1" > /proc/sys/net/ipv4/tcp_syncookies 


另外 ， 如 果 以 iptables 作 为 NAT 路 由 器 ， 对 于 存在 着 多 个 网 卡 的 情况 ， 则 要 开启 IP 转 发 功能 ， 


于 多 网 卡 之 间 数 据 的 流通 


， 命 令 如 下 : 


echo "1" > /proc/sys/net/ipv4/ip _ forward 


其 他 适用 于 iptables 防 火 墙 的 内 核 调 整 可 以 根据 需求 自行 设 定 。 


(2) 加 载 iptables 模 块 


由 于 这 里 不 是 以 服务 的 方式 启动 iptables 的 ， 而 是 采用 service 的 方式 ， 所 以 需要 手动 加 载 iptables 模 块 ， 例 如 : 


modprobe ip tables 
modprobe iptable 1 nat 
modprobe ip 1 nat ftp 
modprobe ip nat irc 
modprobe nf conntrack 
modprobe ip conntrack ftp 
modprobe ipt MASQUERADE 


接 下 来 可 以 用 lsmod 来 查看 加 载 的 模块 ， 命 令 如 下 : 


lsmod | grep "ip 


此 命令 显示 结果 如 下 : 

ipt MASQUERADE 2466 0 

iptable nat 6158 0 

nf nat 22759 4 ipt MASQUERADE,nf nat irc,nf nat ftp,iptable nat 

nf conntrack ipv4 9506 3 iptable nat,nf nat 

nf conntrack 79357 8 ipt MASGUERADE,nf nat irc,nf conntrack irc,nf nat ftp,nf conntrack ftp,iptable nat,nf nat,nf conntrack ipv4 
nf defrag ipv4 1483 1 nf conntrack .ipv4 

ip tables 17831 1 iptable nat 


新 版 的 iptables 会 自动 使 用 新 模块 的 名 称 来 代替 | 旧 模块 的 名 称 。 


(3) 清空 所 有 的 表 链 规则 (包括 自 定义 的 ) 


命令 如 下 : 


iptables -F 

iptables -X 

iptables -2Z 

iptables -F -t nat 
iptables -X -t nat 
iptables -2 -t nat 
iptables -X -t mangle 


(4) 定义 默认 策略 


一 般 来 说 为 了 搭建 安全 的 防火 墙 ， 默 认 是 拒绝 一 切 流量 连接 的 ， 所 以 三 表 五 链 默认 规则 都 应 该 是 DROP， 但 对 于 实际 线 上 的 iptables 脚 本 ， 建 议 按 如 下 方式 配置 (因为 一 般 认 为 从 服务 器 OUTPUT 出 去 的 


数据 和 NAT 出 去 的 数据 都 是 安全 的 ) : 


iptables -P INPUT DROP 

iptables -P FORWARD ACCEPT 

iptables -P OUTPUT ACCEPT 

iptables -t nat -P PREROUTING ACCEPT 
iptables -t nat -P POSTROUTING ACCEPT 
iptables -t nat ~-P OUTPUT ACCEPT 


(5) 打开 “回环 ” 


这 样 做 是 为 了 避免 不 必要 的 麻烦 ， 命 令 如 下 : 


iptables -A INPUT -i lo -j ACCEPT 
iptables -A OUTPUT -o 10 -j ACCEPT 


(6) 允许 状态 为 ESTABLISHED 的 数据 包 进入 机 器 


命令 如 下 : 


iptables -A INPUT -m state --state ESTABLISHED,RELATED -j] ACCEPT 


(7) 根据 需求 建立 防火 墙 规则 


比如 6.5.1 节 介绍 的 完整 的 桌面 主机 防火 墙 脚本 如 下 : 


#/bin/bash 

modprobe ip tables 

modprobe iptable nat 

modprobe pf _ conntrack 

iptables -F 

iptables -Xx 

iptables -2 

iptables -F -t nat 

iptables -X -t nat 

iptables -2 -t nat 

iptables -X -t mangle 

iptables -P INPUT DROP 

iptables -P FORWARD ACCEPT 

iptables -P OUTPUT ACCEPT 

iptables -t nat -P PREROUTING ACCEPT 
iptables -t nat -P POSTROUTING ACCEPT 
iptables -t nat -P OUTPUT ACCEPT 
iptables -A INPUT -i 10 -j ACCEPT 
iptables -A OUTPUT -o lo -]j ACCEPT 
iptables -A INPUT -m state --state NEW -j DROP 
iptables -A INPUT -m state --state ESTABLISHED,RELATED -j] ACCEPT 


此 脚本 执行 后 ， 本 来 正常 提供 的 samba 服 务 马上 就 断 开 了 ， 客 户 端 连接 此 机 的 samba 报 错 ， 可 以 查看 iptables 的 conntrack 记 录 ， 命 令 如 下 : 


cat /proc/net/pf_conntrack 


此 命令 显示 结果 如 下 : 
udp 17 15 src=192.168.1.101 dst=192.168.1.255 sport=137 dport=137 packets=20 bytes=1920 [UNREPLIED] src=192.168.1.255 dst=192.168.1.101 sport=137 dport=137 Packets=0 bytes 
udp 17 12 src=192.168.1.101 dst=192.168.1.255 sport=138 dport=138 Packets=1 bytes=269 [UNREPLIED] src=192.168.1.255 dst=192.168.1.101 sport=138 dport=138 packets=0 bytes=( 


samba 建 立 连 接 的 137、138 端 口 只 有 一 边 有 流量 ，TCP 的 三 次 握手 被 拒 ， 这 个 肯定 是 提供 不 了 samba 服 务 的， 证 明 此 脚本 是 有 效 的 。 


(8) 给 脚本 x 权 限 


给 脚本 x 权 限 后 就 可 以 直接 执行 此 脚本 了 。 


大 家 编写 iptables 脚 本 时 可 以 参考 上 述 步 又， 一 步 一 步 地 来 ， 这 样 就 不 容易 出 错 了 ， 以 后 熟练 了 就 会 习惯 成 自然。 


6.7 ”学 习 iptables 应 该 掌握 的 工具 


6.7.1 命令 行 的 抓 包 工具 TCPDump 


TCPDump 是 入 侵 分 析 人 员工 具 包 中 的 一 个 重要 工具 。 在 底层 ，TCPDump 是 一 个 捕获 和 分 析 数 据 包 的 软件 ， 也 就 是 说 TCPDump 可 以 用 来 监听 网 络 通信 ， 但 是 实际 能 够 监听 到 什么 样 的 数据 流 将 取决 于 
所 在 网 络 的 拓 朴 结构 。 它 是 一 款 基于 命令 行 的 工具 ， 可 以 通过 不 同 的 命令 行 选项 来 改变 状态 ， 它 也 提供 了 丰富 的 选项 可 使 我 们 很 容易 地 改变 程序 的 运行 方式 。 在 使 用 CPDump 的 过 程 中 ， 我 们 会 发 现 大 部 
分 捕获 数据 的 动作 只 需要 用 到 一 些 常用 的 选项 即 可 ， 而 不 需要 用 到 其 他 全 部 的 选项 。 另 外 ，TCPDump 存 在 于 绝 大 多 数 的 Linux 系 统 中 ， 是 不 需要 安装 即 可 使 用 的 。 下 面 就 以 具体 的 例子 来 说 明 它 的 使 用 方 
法 。 


DO 


1) 想 要 截获 210.27.48.1 的 主机 收 到 的 和 发 出 的 所 有 数据 包 ， 命 令 如 下 : 


tcpdump host 210.27.48.1 


2) 想 要 截获 主机 210.27.48.1 和 主机 210.27.48.2 或 210.27.48.3 的 通信 ， 命 令 如 下 (在 命令 行 中 使 用 括号 时 ， 要 用 转 义 符 \ 来 对 () 进行 转 义 ) : 


tcpdump host 210.27.48.1 and \(210.27.48.2 or 210.27.48.3 \) 


3) 想 要 获取 主机 210.27.48.1 和 所 有 主机 (除了 210.27.48.2) 通信 的 IP 包 ,命令 如 下 : 


tcpdump ip host 210.27.48.1 and !210.27.48.2 


4) 想 要 获取 主机 210.27.48.1 接 收 或 发 出 的 smtp 包 ， 命 令 如 下 : 


tcpdump tcp port 25 and host 210.27.48.1 


5) 如 果 怀 疑 系统 正 受到 拒绝 服务 攻击 (DoS) ， 网 络 管理 员 可 以 通过 截获 发 往 本 机 的 所 有 ICMP 包 ， 来 确定 目前 是 否 有 大 量 的 ping 指 令 流向 服务 器 ， 此 时 可 用 如 下 命令 : 


tcpmdump icmp -n -i eth0 


6) 想 要 将 其 结果 生成 详细 的 报告 ,命令 如 下 : 


tcpdump tcp port 25 and host 211.147.1.11 > awstat.txt 


TCPDump 捕 获 的 TCP 包 的 输出 信息 一 般 是 : 


src > dst: flags data-seqno ack window urgent options 


这 里 说 明 一 下 CPDump 抓 取 TCP 包 的 情况 。 


src> dst: 表明 从 源 地 址 到 目的 地 址 ，flags 是 TCP 包 中 的 标志 信息 ，S 代 表 SYN 标 志 、F 代 表 FIN、P 代 表 PUSH、R 代 表 RST、“.” 表 示 没 有 标记 ，data-seqno 是 数据 包 中 数据 的 顺序 号 ，ack 是 下 次 期 望 
的 顺序 号 ，window 是 接收 缓存 的 窗口 大 小 ，urgent 表 明 数 据 包 中 是 否 有 紧急 指针 ，options 是 选项 。 


由 于 所 涉及 的 服务 器 协议 大 部 分 是 TCP 协 议 的 ， 因 此 这 里 只 介绍 TCP 包 的 输出 信息 。 至 于 UDP 和 ICMP 协 议 信 息 ， 可 以 根据 上 面 介绍 的 TCPDump 语 法 自行 研究 ， 限 于 篇 幅 ， 这 里 不 做 详细 说 明 。 


6.8 iptables 简 单 脚本 : Web 主 机 防护 脚本 


链 ， 


这 一 节 通 过 编写 一 个 简单 的 iptables 脚 本 来 熟悉 iptables 的 语法 规则 。 网 络 拓 朴 很 简单 ， 安 装 iptables 的 机 器 |P 地 址 为 : 192.168.1.204， 另 一 台 机 器 的 |P 地 址 为 : 192.168.1.200， 系 统 均 为 CentOS 6.4 
x86 64。 


普通 的 Web 主 机 防护 脚本 比较 容易 实现 ，Web 主 机 主要 开放 两 个 端口 : 80 和 22， 其 他 端口 则 会 关闭 ， 另 外 由 于 这 里 没有 涉及 多 少 功能 ， 所 以 模块 的 载 入 也 很 简单 ， 只 涉及 了 iptables 的 filter 表 的 INPUT 


所 以 脚本 的 初始 化 也 很 简单 。 


可 以 按照 编写 iptables 的 流程 顺序 来 编写 脚本 ， 脚 本 内 容 如 下 : 


#/bin/bash 

iptables -F 

iptables -Xx 

iptables -2Z 

modprobe ip tables 

modprobe nf nat 

modprobe nf conntrack 

iptables -P INPUT DROP 

iptables -P FORWARD ACCEPT 
iptables -P OUTPUT ACCEPT 

iptables -A INPUT -i 10 -j ACCEPT 
iptables -A OUTPUT -o lo -j] ACCEPT 
iptables -A INPUT -p tcp -m multiport --dports 22,80 -]j ACCEPT 


iptables -A INPUT -m state --state RELATED,ESTABLISHED -]j ACCEPT 


这 里 的 #iptables-P INPUT DROP 符 合 我 们 写 iptables 的 习惯 ， 即 开启 iptables 时 默认 拒绝 一 切 连接 ， 后 面 再 通过 -A 参 数 来 开放 我 们 需要 提供 的 端口 。 


iptables 脚 本 开启 后 ， 可 以 用 如 下 命令 查看 结果 : 


iptables -nv -L 


此 命令 显示 结果 如 下 : 


Chain INPUT (policy DROP 3364 packets, 204K bytes) 


pkts bytes target prot opt in out source 
0 0 ACCEPT all -== lo 只 0.0.0.0/0 
84 5372 ACCEPT Uy 吉 0.0.0.0/0 
multiport dports 22,80 
0 0 ACCEPT ee 全 .QuDX0 


stateRELATED, ESTABLISHED 
Chain FORWARD (policy ACCEPT 0 packets, 0 bytes) 
pkts bytes target prot opt in out source 
Chain OUTPUT (policy ACCEPT 43 packets, 5532 bytes) 
pkts bytes target prot opt in out source 
0 0 ACCEPT LL lo 0.0.0.0/0 


destination 
0.0.0.0/0 
0.0.0.0/0 


0.0.0.0/0 


destination 


destination 
QD 0 dd 


iptables 防 火 墙 运行 后 ， 将 尝试 启动 此 机 器 的 postfix 服 务 ， 打 开 服务 器 端口 25， 然 后 通过 内 网 在 另外 一 台 机 器 上 telnet， 命 令 如 下 : 


telnet 192.168.1.204 25 


命令 显示 结果 如 下 : 


Trying 192.168.1.204http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15807/0EBPS/Text/... 


telnet: connect to address 192.168.1.204: Connection refused 


最 小 化 安装 的 CentOS 6.4 x86_64 系 统 默 认 是 没有 Nmap 的 ， 可 以 通过 yum 命 令 来 进行 安装 ， 命 令 如 下 : 


yum -y install nmap 


这 时 ， 在 另 一 台 机 器 上 开启 Nmap 扫 描 ， 发 现 samba 提 供 服务 的 端口 已 经 被 iptables 屏 项 了 ， 命 令 如 下 : 


nmap -sT 192.168.1.204 


此 命令 显示 结果 如 下 : 


Starting Nmap 5.51 ( http://nmap.org ) at 2015-10-27 23:43 EDT 
Nmap scan report for Fabric (192.168.1.204) 

Host is up (0.00074s latency). 

Not shown: 998 filtered ports 

PORT STATE SERVICE 


22/tcp open ssh 

80/tcp open http 

MAC Address: 00:16:3E:05:23:85 (Xensource) 

Nmap done: 1 IP address (1 host up) scanned in 4.39 seconds 


6.9” 线 上 生产 服务 器 的 iptables 脚 本 


在 编写 安全 的 iptables 脚 本 之 前 ， 依 然 要 先 做 好 准备 工作 ; 现在 比较 新 的 CentOS 系 统 版 本 是 CentOS 6.4 x86_64， 可 以 通过 如 下 命令 查看 它 自 带 的 iptables 版 本 : 


iptables --version 
iptables v1.4.7 


如 果 要 查看 系统 的 内 核 版 本 号 ， 可 以 用 如 下 命令 : 


uname -r 
2.6.32-358.e16.x86 64 


为 什么 要 采用 较 新 的 CentOS 系 统 呢 ， 这 是 因为 iptables 现 在 有 许多 新 的 模块 ， 如 果 在 原 有 的 老 系 统 和 老 内 核 上 采用 这 些 新 的 iptables 模 块 ， 则 必须 要 采取 重新 编译 内 核 的 方法 。 不 过 现在 新 版 的 CentOS 
系统 自 带 的 iptables V1.4.7 已 经 支持 了 原先 不 支持 的 许多 模块 ， 比 如 connlimit、recent 模 块 ， 所 以 我 们 部 署 iptables 防 火 墙 时 就 容易 得 多 了 。 


名 注意 


鉴于 iptables v1.3.x 和 iptables v1.4.7 的 语法 有 细微 的 区 别 ， 除 了 线 上 生产 服务 器 (基于 稳定 的 原则 ， 线 上 环境 不 可 能 随便 去 更 改 内 核 及 iptables 版 本 ) 之 外 ， 以 下 所 有 的 iptables 脚 本 都 以 CentOS 6.4 x86_64 系 


统 、 内 核 版 本 2.6.32-358.el6.x86_64、iptables 版 本 1.4.7 为 平台 来 说 明 。 


由 于 这 里 的 服务 器 都 涉及 生产 服务 器 ， 为 了 防止 发 生意 外 事件 ， 所 以 在 调试 iptables 脚 本 之 前 ， 先 配置 一 个 Crontab 计 划 任 务 ， 每 5 分 钟 关闭 一 次 防火 墙 ， 以 免 将 自己 干 里 之 外 的 防火 墙 SSH 连 接 也 断 掉 
了 ， 那 样 就 得 不 偿 失 了 ， 编 辑 /etc/crontab 计 划 任 务 的 命令 如 下 : 


*/5 * *** Foot /etc/init.d/iptables stop 


等 确保 iptables 万 无 一 失 以 后 ， 才 能 清除 掉 此 计划 任务 。 


6.10 TCP_Wrappers 应 用 级 防火 墙 的 介绍 和 应 用 


了 解 了 iptables 防 火 墙 后， 相信 大 家 可 能 会 对 它 强大 的 |P 过 滤 功 能 感到 惊叹 。 但 是 在 日 常 工作 中 ， 有 时 仅仅 过 滤 IP 是 满足 不 了 我 们 的 工作 需求 的 ， 因 此 ， 这 里 再 介绍 一 种 基于 应 用 级 别 的 防火 墙 ， 那 就 是 
强大 的 TCP_Wrappers。 


为 什么 我 们 总 说 Linux 服 务 器 安全 呢 ? 通过 下 面 的 流程 可 以 看 出 ， 一 个 客户 端 想 要 访问 Linux 服 务 器 的 资源 ， 其 实 也 不 是 一 件 容易 的 事情 ， 它 需要 突破 层 层 封锁 和 权限 控制 。 


Linux 系 统 访问 控制 的 流程 如 下 : 


客户 端 一 iptables 一 TCP_Wrappers 一 服务 本 身 的 访问 控制 


具体 说 明 如 下 : 
: iptables: 基于 原 IP、 目 的 IP、 原 端口 、 目 的 端口 来 进行 控制 。 
“ TCP_Wrappers: 对 服务 的 本 身 进行 控制 。 


“Service: 对 行为 进行 控制 ( 它 会 结合 文件 和 目录 权限 做 更 细致 的 控制 ) 。 


TCP_Wrappers 是 根据 /etc/hosts.allow 及 /etc/hosts.deny 这 两 个 文件 来 判断 用 户 是 否 能 够 访问 服务 器 资源 的 。 其 实 ，/etc/hosts.allow 与 /etc/hosts.deny 是 /usr/sbin/tcpd 的 设 定 档 ，/usr/bin/tcpd 
则 是 用 来 分 析 进 入 系统 的 TCP 封 包 的 一 个 软件 ， 它 是 由 TCP Wrappers 提 供 的 。 那 为 什么 叫 作 TCP_Wrappers 呢 ”其 中 Wrappers 有 包 庄 的 意思 ， 也 就 是 说 ， 这 个 软件 本 身 的 功能 就 是 分 析 TCP 网 络 封包 资料 
的 ! 前 面 提 到 网 络 的 封包 资料 是 以 TCP 封 包 为 主 的 ， 这 个 TCP 封 包 的 档 头 至少 记 录 了 来 源 与 目标 主机 的 |P 与 端口 号 ， 因 此 ， 通 过 分 析 TCP 封 包 ， 就 可 以 判断 是 否 让 这 个 客户 端 访问 服务 器 资源 。 


TCP_Wrappers 的 访问 控制 主要 是 通过 以 下 两 个 文件 来 实现 的 : 


/etc/hosts.allow 
/etc/hosts.deny? 


/etc/hosts.allow 用 来 定义 允许 的 访问 ，/etc/hosts.deny 用 来 定义 拒绝 的 访问 。 


全 注意 
其 实 ， 在 /etc/hosts.allow 里 是 可 以 定义 拒绝 的 访问 的 ，/etc/hosts.deny 也 可 以 做 相反 的 工作 ,但 不 推荐 大 家 这 样 操作 ， 为 什么 我 们 要 将 简单 的 问题 复杂 化 呢 ? 


现在 来 了 解 一 下 TCP_Wrappers 的 访问 控制 判断 顺序 ， 如 果 客 户 端 P 通 过 了 iptables 防 火 墙 后 想 访问 我 们 的 服务 器 资源 ， 这 时 系统 会 查看 此 客户 端 请 求 IP 是 否 存 在 于 /etc/hosts.allow 列 表 里 ， 如 果 存 
在 ， 则 接受 此 IP 请 求 ; 如 果 不 存 在 ， 则 继续 比 对 /etc/hosts.deny 列 表 ， 如 果 存在 于 hosts.deny 列 表 里 ， 则 拒绝 此 IP 请 求 ; 如 果 此 IP 在 两 个 文件 里 都 不 存在 ， 则 接受 此 IP 请 求 ， 其 工作 流程 如 图 6-11 所 示 。 此 
流程 图 逻辑 清晰 ， 建 议 大 家 也 以 此 流程 图 进行 记忆 。 


客户 端 请 求 


TCP Wrappers 
防火 载 


IP 是 否 太 在 于 


:etc/hosts.allow 


JP 是 否 存 在 于 
:ete/hosts.deny 


6-11 TCP_Wrappers 工 作 流 程 图 


TCP_Wrappers 的 语法 格式 如 下 : 


<service>:<IP, domain, hostnamehttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/15807/0EBPS/Text/...>:<allow|deny> 


其 语法 很 简单 ， 前 面 接 服务 名 ， 中 间 是 “: ” ， 后 面 是 IP 或 |P 段 ， 最 后 面 的 allow 或 deny 可 以 省 略 。 这 里 跟 大 家 说 一 个 小 知识 : 在 Linux 系 统 里 ， 点 分 十 进 制 是 除了 iptables 外 ， 支 持 所 有 服务 的 语法 ， 
比如 我 们 可 以 /etc/hosts.allow 里 写 上 如 下 内 容 : 


sshd:192.168.1.0/255.255.255.0 


表示 此 服务 器 接受 来 自 192.168.1.0 到 255.255.255.0 网 段 所 有 机 器 的 SSH 请 求 。 下 面 请 大 家 思考 一 个 比较 复杂 的 问题 ， 如 果 一 个 IP 既 存在 于 /etc/hosts.allow 里 ， 又 存在 于 /etc/hosts.deny 里 (例如 
192.168.1.102 这 个 IP 既 存在 于 服务 器 192.168.1.104 的 /etc/hosts.allow 里 ， 也 存在 于 /etc/hosts.deny 里 ) ， 那 么 这 个 IP 会 被 服务 器 接受 吗 ? 其 实用 上 面 的 流程 图 一 判断 ， 就 可 以 得 出 结论 ，192.168.1.104 
是 允许 192.168.1.102 的 机 嚣 SSH 登录 的 。 


那么 ， 我 们 该 如 何 利用 TCP_Wrappers 呢 (测试 机 器 为 CentOS 5.8 x86_64，CentOS 6.4 x86_64 下 面 的 portmap 更 改 为 rpcbind， 这 一 点 请 大 家 注意 区 别 ) ? 


一 些 比较 复杂 的 服务 (例如 NFS 服 务 ) 在 与 客户 端 通信 时 会 打开 几 个 端口 ， 如 果 不 在 配置 文件 里 做 修改 ， 那 么 它 通 信 的 端口 会 与 vsftpd 服 务 的 被 动 模式 一 样 ， 也 就 是 说 端口 都 是 随机 的 ， 这 样 我 们 用 
iptables 来 做 安全 策略 时 会 非常 麻烦 ， 不 过 ， 如 果 通 过 TCP_Wrappers 来 设置 相应 的 限制 策略 就 会 非常 容易 ， 例 如 通过 配置 /etc/hosts.deny 文 件 来 限制 192.168.1.102 的 机 器 来 访问 本 机 的 NFS 资 源 ， 可 以 按 
如 下 方式 编辑 /etc/hosts.deny 文 件 : 


Vim /etc/hosts.deny 
Portmap:192.168.1.102 


如 果 要 使 用 iptables 防 火 墙 的 IP 加 端口 的 防护 方法 ， 至 少 先 要 通过 抓 包 弄 清楚 NFS 的 端口 问题 才能 够 写 出 iptables 的 规则 ， 但 如 果 是 利用 TCP_Wrappers 则 可 以 很 轻松 地 做 好 这 个 工作 ， 可 以 说 
TCP_Wrappers 是 iptables 最 好 的 补充 手段 之 一 ， 所 以 很 多 朋友 也 称 其 为 应 用 级 防火 墙 。 在 做 好 服务 器 的 防护 工作 时 ， 我 们 还 可 以 利用 iptables+TCP_Wrappers 的 方法 对 服务 器 资源 进行 保护 ， 这 样 其 
性 也 可 以 得 到 进一步 增强 。 


| 
则 


到 目前 为 止 ， 我 们 已 经 知道 了 如 何 使 用 iptables+TCP_Wrappers 建 造 及 维护 一 个 Linux 系 统 IP 级 及 应 用 级 的 防火 墙 ， 它 在 防范 外 部 攻击 时 能 取得 非常 好 的 效果 ， 但 是 它们 防范 不 了 来 自 防火 墙 内 部 的 攻 
击 。 这 个 时 候 可 以 利用 SELinux 来 强化 内 核 ， 使 我 们 的 计算 机 更 加 安全 。 


6.11 工作 中 的 Linux 防 火 墙 总 结 


以 下 是 笔者 在 工作 中 使 用 iptables 后 得 到 的 总 结 。 


1) iptables 防 火 墙 并 不 能 阻止 DDos 攻 击 ， 建 议 在 项 目 实施 中 采购 硬件 防火 墙 ， 并 将 其 置 于 整个 系统 之 前 ， 用 于 防止 DDos 攻 击 和 端口 映射 如果 对 安全 有 特殊 要 求 ， 可 再 加 上 应 用 层级 的 防火 墙 ， 比 如 
天 泰 应 用 防火 墙 ， 其 功能 会 很 强大 。 应 用 层级 的 防火 墙 能 够 基于 对 数据 报 文 头 部 和 载荷 的 完整 检测 ， 对 Web 应 用 客户 端 输入 进行 验证 ， 从 而 对 各 类 已 知 的 及 新 兴 的 Web 应 用 威胁 提供 全 方位 的 防护 ， 如 SQL 
注入 、 跨 站 脚本 、 蠕 虫 、 黑 客 扫描 和 攻击 等 。 


2) 如 果 线 上 的 机 器 采用 了 集群 架构 方案 的 话 ， 建 议 关 闭 iptables 防 火 墙 ， 这 样 的 目的 是 可 以 更 好 地 提高 后 端 服务 器 的 网 络 性 能 ,方便 数据 流 在 整个 业务 系统 内 部 进行 流通 ， 安 全 方面 的 工作 由 硬件 防火 
墙 来 承担 。 


3) 线 上 的 机 器 (包括 AWS EC2 云 主机 ) 一 般 都 有 公 网 和 内 网 两 个 IP 地 址 ， 除 了 Web 对 外 的 业务 ( 即 22、80 和 443) 对 公 网 开放 以 外 ， 其 他 的 尽量 不 要 对 公 网 开放 ， 业 务 尽量 走 内 网 地 址 ， 比 如 MySQL 
或 Redis 业 务 等 。 


4) iptables 的 L 是 命令 ， 而 -v 和 -n 只 是 选项 ， 它 们 不 能 进行 组 合 ， 如 -Lvn; 如 果 要 列 出 防火 墙 的 详细 规则 ， 可 采用 iptables-nv-| 或 iptables-n-v-L。 


5) 如 果 是 使 用 远程 来 调试 iptables 防 火 墙 ， 最 好 设置 Crontab 作 业 定 时 停止 防火 墙 ， 以 防止 自己 被 锁定 了 ，5 分 钟 停止 一 次 iptables 即 可 ， 等 整个 脚本 完全 稳定 后 再 关闭 此 Crontab 作 业 


6) 如 果 使 用 默认 禁止 一 切 策略 ， 在 写 防火 墙 策略 时 应 该 开放 回环 接口 lo (因为 禁止 一 切 也 就 包括 了 lo 回环 口 ) ， 回 环 接口 lo 在 Linux 系 统 中 被 用 来 作为 提供 本 地 、 基 于 网 络 服务 的 专用 网 络 接口 ， 不 
通过 网 络 接口 驱动 器 来 发 送 本 地 数据 流 ， 而 是 采用 操作 系统 通过 回环 接口 来 发 送 ， 这 大 大 地 提高 了 性 能 ; 而 关闭 lo 也 会 带 来 一 些 莫名 其 妙 的 问题 ， 所 以 iptables 脚 本 建议 开启 lo 回环 接口 。 


7) 如 果 是 电信 、 双 线 或 BGP 机 房 托 管 的 服务 器 ， 在 没有 配置 前 端 硬 件 防火 墙 的 情况 下 ， 建 议 开启 Linux 机 器 的 iptables 防 火 墙 (有 集群 环境 的 话 视 具 体 情况 而 定 ) 。 


8) 如 果 经 费 足 够 的 话 ， 最 前 端的 硬件 防火 墙 最 好 也 做 双 机 宛 余 ， 防 止 单 防火 墙 出 问题 而 导致 整个 网 站 崩溃 ， 防 火 墙 跟 人 一 样 ， 总 有 项 不 住 压力 的 时 候 ， 如 果 有 双 机 的 话 ， 网 站 出 问题 的 概率 会 小 很 多 。 


AD 


工作 中 可 以 利用 iptables 加 上 TCP_Wrappers 双 结合 的 方法 来 对 主机 进行 防护 ， 如 果 说 iptables 是 基于 1P 来 过 滤 的 话 ， 那 么 TCP_Wrappers 就 是 一 种 应 用 级 的 防火 墙 ， 两 者 结合 起 来 Linux 系 统 的 安全 
会 得 到 进一步 的 提高 。 


上 面 的 iptables 相 关 环 节 ， 主 要 向 大 家 介绍 了 工作 中 iptables 经 常会 涉及 的 部 分 ， 而 iptables 的 mangle 链 和 iptables 的 模块 开发 并 没有 涉及 ， 这 个 在 平时 的 工作 中 用 得 很 少 ， 有 兴趣 的 朋友 可 以 自行 研 
究 。 如 果 环境 允许 ， 可 能 会 多 熟悉 下 硬件 防火 墙 的 性 能 和 特点 ， 这 些 在 我 们 的 工作 中 很 有 可 能 会 涉及 。 
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现在 许多 生产 服务 器 都 是 放置 在 IDC 机 房 里 的 ， 有 的 并 没有 专业 的 硬件 防火 墙 保护 ， 我 们 应 该 如 何 做 好 其 基础 的 安全 措施 呢 ? 个 人 觉得 应 该 从 如 下 几 个 方面 着 手 。 


“ 首先 要 保证 自己 的 Linux 服 务 器 的 密码 绝对 安全 ， 笔 者 一 般 将 root 密 码 设置 在 28 位 以 上 ， 而 且 某 些 重要 的 服务 器 必须 只 有 几 个 人 知道 root 密 码 ， 这 将 根据 公司 管理 层 的 权限 来 设置 ， 如 果 有 系统 管理 员 离 
职 ，troot 密 码 一 定 要 更 改 。 现 在 我 们 的 做 法 一 般 是 禁止 root 远 程 登录 ， 只 分 配 一 个 具有 sudo 权 限 的 用 户 。 服 务 器 的 账号 管理 一 定 要 严格 ， 服 务 器 上 除了 toot 账 号 外 ， 系 统 用 户 越 少 越 好 ， 如 果 非 要 添加 用 户 来 
作为 应 用 程序 的 执行 者 ， 请 将 他 的 登录 Shell 设 为 nologin， 即 此 用 户 是 没有 权利 登录 服务 器 的 。 终 止 未 授权 用 户 ， 定 期 检查 系统 有 无 多 余 的 用 户 都 是 很 有 必要 的 工作 。 另 外 ， 像 vsftpd、samba 及 MySQL 的 账号 
也 要 严格 控制 ， 尽 可 能 只 分 配给 他 们 满足 基本 工作 需求 的 权限 ， 而 像 MYSQL 等 的 账号 ， 不 要 给 任何 用 户 grant 权 限 。 


“ 防止 SSH 暴 力 破解 是 一 个 老生 常 谈 的 问题 ， 解 决 这 个 问题 有 许多 种 方法 : 有 的 朋友 喜欢 用 iptables 的 recent 模 块 来 限制 单位 时 间 内 SSH 的 连接 数 ， 有 的 用 DenyHosts 防 SSH 暴 力 破解 工具 ， 应 尽 可 能 采用 部 
署 服务 器 密 钥 登 录 的 方式 ， 这 样 就 算 对 外 开放 SSH 端 口 ， 暴 力 破解 也 完全 没有 用 武之 地 。 


:分析 系统 的 日 志文 件 ， 寻 找 入 侵 者 曾经 试图 入 侵 系统 的 蛛丝马迹 。last 命 令 是 另外 一 个 可 以 用 来 查找 非 授权 用 户 登 录 事 件 的 工具 。last 命 令 输入 的 信息 来 自 于 /var/log/wtmp。 这 个 文件 详细 地 记录 着 每 
个 系统 用 户 的 访问 活动 。 但 是 有 经 验 的 入 侵 者 往往 会 删 掉 /var/log/wtmp 以 清除 自己 非法 行为 的 证 据 ， 但 是 这 种 清除 行为 还 是 会 露出 蛛丝马迹 : 在 日 志文 件 里 留 下 一 个 没有 退出 的 操作 和 与 之 对 应 的 登录 操作 
(虽然 在 删除 wtmp 的 时 候 登 录 记录 没有 了 ， 但 是 待 其 登 出 的 时 候 ， 系 统 还 是 会 把 它 记录 下 来 ) ， 不 过 高 明 的 入 侵 者 会 用 at 或 Crontab 等 自己 登 出 之 后 再 删 文件 。 


“ 建议 不 定期 用 grep ettor/var/log/messages 检 查 自己 的 服务 器 是 否 存在 着 硬件 损坏 的 情况 ， 由 于 服务 器 长 年 搁置 在 机 房 中 ， 最 容易 损坏 的 就 是 硬盘 和 风扇 ， 因 此 在 进行 这 些 方面 的 日 常 维护 时 要 格外 注 


， 最 好 是 定期 巡视 我 们 的 IDC 托 管 机 房 。 


号 


“ 建议 不 定期 使 用 Chkrootkit 应 用 程序 对 rootkit 的 踪迹 和 特征 进行 查找 ， 从 它 的 报告 中 我 们 可 以 分 析 服 务 器 否 已 经 感染 木马 。 


“ 停 掉 一 些 系 统 不 必要 的 服务 ， 强 化 内 核 。 多 关注 一 下 服务 器 的 内 核 漏洞 ， 现 在 Linux 的 很 多 攻击 都 是 针对 内 核 的 ， 应 尽量 保证 内 核 版 本 是 最 新 的 。 
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另外 ， 我 们 还 可 以 设计 代码 级 别 的 WAF 软 件 防火 墙 ， 主 要 是 由 Nginx 结 合 ngx_lua 模 块 来 实现 的 ， 由 于 Lua 语 言 的 性 能 是 接近 于 C 语 言 的 ， 而 且 ngx_lua 模 块 本 身 就 是 基于 为 Nginx 开 发 的 高 性 能 的 模块 ， 
所 以 性 能 比较 好 。 其 可 以 实现 的 安全 防护 功能 如 下 : 


IP 黑 白 名 单 。 


URL 黑 白 名 单 。 


UserAgent 黑 白 名 


Referer 黑 白 名 单 。 


常见 的 Web 漏 洞 防护 ， 如 XSS、SQL 注 入 等 。 
CC 攻击 防护 。 


扫描 器 简单 防护 。 


其 他 业务 安全 需要 的 功能 。 


大 家 可 以 看 到 ， 其 实 代码 级 别 的 WAF 防 火 墙 比 商业 的 WAF 防 火 墙 功能 更 加 强大 和 灵活 。 


6.14 如何 防止 入 侵 


事实 上 ， 部 分 公司 许多 非 核心 的 服务 器 并 未 放置 于 自己 的 机 房 内 ， 并 且 未 必 有 硬件 防火 墙 保护 ， 这 个 时 候 我 们 应 该 如 何 防止 黑客 入 侵 呢 ? 本 节 将 给 出 一 些 保证 系统 安全 的 建议 ， 但 这 些 建议 并 未 涵盖 
部 的 保证 系统 安全 的 方法 ， 仅 仪 是 几 点 建议 。 


“ 系统 的 软件 应 尽 可 能 地 及 时 更 新 ， 特 别 是 有 重大 安全 隐患 的 软件 。 虽 然 经 常 更 新 计算 机 系统 是 本 节 中 提 到 的 保证 系统 安全 的 方法 中 最 容易 实现 的 ， 但 是 这 项 工作 却 经 常 被 忽视 。 计 算 机 最 容易 被 攻破 
的 情况 是 让 其 运行 但 却 从 不 对 其 进行 更 新 。Linux 系 统 及 开源 软件 最 强 的 性 能 之 一 就 是 它们 的 高 安全 性 ， 而 这 是 有 原因 的 。 当 一 个 安全 问题 被 揭露 时 ， 开 源 社区 会 在 很 短 的 时 间 内 提出 解决 方案 ， 这 为 保证 开 
源 软 件 的 高 安全 性 提供 了 条 件 。 在 问题 发 现 的 同一 天 就 找到 修复 方案 也 是 很 常见 的 ， 甚 至 是 以 前 从 没有 见 过 的 安全 问题 也 有 很 多 都 在 发 现 的 当天 就 被 解决 了 。 勤 于 更 新 软件 是 保证 系统 安全 很 重要 的 一 方 
面 ， 虽 然 推荐 尽 可 能 经 常 地 更 新 软件 ， 但 是 我 们 也 要 密切 注意 关注 正在 更 新 的 软件 ， 要 保证 所 有 的 更 新 都 不 会 影响 正常 的 系统 运行 。 


“ 保证 内 部 网 的 安全 。 很 多 时 候 为 了 安全 ， 我 们 将 核心 生产 服务 器 放置 在 公司 内 部 的 机 房 中 ， 然 后 将 注意 力 和 精力 放 在 外 网 的 防护 工作 上 面 ， 于 是 朴 忽 了 内 部 的 安全 性 ， 这 个 时 候 服 务 器 会 很 容易 被 人 
从 内 部 进行 破坏 。 正 确 的 做 法 有 许多 种 ， 比 如 应 该 将 重要 的 生产 服务 器 放 在 DMZ 区 域 ， 跟 我 们 的 内 网 隔离 开 来 ， 这 样 即使 内 部 网 络 被 人 破坏 或 被 人 入 侵 ， 也 不 会 影响 生产 服务 器 。 像 我 们 的 线 上 环境 ， 除 了 
跳板 机 以 外 均 没有 开放 公 网 SSH 端 口 ， 而 且 重 要 区 域 的 跳板 机 ， 只 能 允许 特定 的 公 网 IP 地 址 进行 SSH 连 接 。 


“ 应 尽 可 能 最 小 化 安装 服务 器 和 运行 最 少 的 服务 。 通 过 这 么 多 年 的 系统 相关 工作 实践 ， 我 们 发 现 ， 安 装 包 最 小 的 服务 器 相对 而 言 是 最 为 稳定 的 。 而 只 提供 必要 的 基础 的 核心 服务 ， 也 是 提高 我 们 的 服务 
器 安全 稳定 性 的 方法 之 一 。 
“ 我 们 在 内 核 的 强化 上 面 也 要 做 一 些 工作 。 多 关注 一 下 服务 器 的 内 核 漏洞 ， 毕 竟 现 在 有 关 Linux 的 很 多 攻击 都 是 针对 内 核 的 ， 应 尽 可 能 地 采用 稳定 的 新 内 核 版 本 ， 笔 者 公司 现在 用 的 内 核 版 本 为 2.6.32- 


358.el6.x86_64 和 3.14.35-28.38.amzn1.x86_64， 分 别 对 应 的 是 CentOS 系 统 和 AWS EC2 云 主机 系统 。 


“ 如 果 条 件 允 许 的话 ， 可 以 在 我 们 的 网 站 或 系统 关键 位 置 的 服务 器 上 部 署 snort，snort 是 一 个 非常 优秀 的 开源 入 侵 检 测 软 件 ， 它 集成 了 同类 软件 中 最 先进 的 技术 ,我们 可 以 利用 snort 的 警报 找 出 攻击 者 而 


做 出 相应 的 防范 措施 。 


6.15 ”小结 


本 章 向 大 家 详细 介绍 了 iptables 和 TCP_Wrappers 的 语法 ， 并 演示 了 生产 环境 下 的 iptables 安 全 脚本 及 其 在 AWS EC2 主 机 中 的 应 用 。 接 着 向 大 家 介绍 了 一 些 比较 实用 的 安全 工具 ， 比 如 命令 行 抓 包 工具 
TCPDump、 图 形 化 抓 包 工具 Wireshark ， 以 及 安全 扫描 工具 Nmap 和 Hping， 并 且 总 结 了 Linux 服 务 器 在 工作 中 可 采取 的 安全 措施 ， 希 望 大 家 通过 学 习 本 章 的 内 容 能 对 系统 安全 防护 概念 有 所 了 解 ， 并 掌握 Linux 服 
务 器 防护 技巧 ， 并 且 能 够 编写 出 适合 自己 服务 器 的 iptables 安 全 脚本 。 


第 7 章 Linux 集群 及 项 目 案例 分 享 


作为 一 名 资深 系统 管理 员 和 系统 架构 设计 师 ， 笔 者 在 工作 中 经 常会 遇 到 一 些 对 外 项 目 ， 比 如 中 小 型 金融 资讯 网 站 和 电子 商务 订单 系统 的 架构 及 实施 。 在 为 客户 实施 项 目 方案 时 ， 客 户 基 本 上 都 会 提出 这 
样 一 条 要 求 : 保证 服务 的 高 可 用 性 。 基 于 此 需求 ， 我 们 所 有 的 服务 器 ， 包 括 负 载 均衡 器 、 文 件 服务 器 、Web 服 务 器 、tredis 缓 存 服务 器 ， 还 有 提供 MySQL 数 据 库 的 机 器 ， 基 本 上 都 有 两 台 或 两 台 以 上 的 服务 
器 。 而 且 根据 客户 的 要 求 及 客户 自身 机 房 的 硬件 配置 ， 我 们 还 会 选择 不 同 的 负载 均衡 器 方案 ， 比 如 硬件 方面 有 F5 和 Citrix NetScaler， 软 件 方面 有 LVS、Nginx、HAProxy 及 DNS 轮 询 ， 云 计算 服务 产品 有 Elastic 
Load Balancing。 可 以 说 在 相当 长 的 一 段 时 间 内 ， 我 的 工作 之 一 就 是 不 停 地 测试 它们 ， 不 停 地 完善 和 优化 整体 网 站 的 架构 设计 。 


在 与 一 些 系统 管理 员 进 行 线 下 交流 活动 时 ， 我 发 现 不 少 技术 很 好 的 系统 管理 员 由 于 公司 自身 环境 等 因素 对 Linux 集 群 、 负 载 均 衡 高 可 用 等 相关 知识 知之 甚 少 ， 如 果 是 从 事 IT 的 其 他 专业 ， 对 这 方面 的 了 解 
就 更 可 想 而 知 了 。 在 这 里 ， 笔 者 希望 通过 分 享 自己 的 Linux 集 群 项 目 经 验 ， 向 大 家 说 明 什么 叫 负载 均衡 ， 什 么 叫 高 可 用 ， 什 么 叫 Linux 和 集群。 与 大 家 交流 一 下 与 之 相关 的 专业 知识 ， 让 大 家 走出 误区 ， 从 真正 意 
义 上 来 理解 它们 。 


7.1 负载 均衡 高 可 用 核心 概念 及 常用 软件 


7.1.1 什么 是 负载 均衡 高 可 用 


在 解释 这 个 专业 术语 之 前 ， 我 们 需要 先 弄 明白 一 个 小 问题 ， 为 什么 需要 负载 均衡 (Load Balancing) ? 这 里 以 一 个 示例 来 说 明 ， 假 如 我 们 有 一 个 金融 资讯 类 的 网 站 ， 只 人 允许 100 个 用 户 同时 在 线 访问 。 


网 站 上 线 初期 ， 由 于 知名 度 较 小 ， 加 上 没有 宣传 ， 只 有 几 个 用 户 经 常 上 线 ; 后 期 知名 度 上 去 了 ， 宣 传 也 上 去 了 ， 百 度 和 谷歌 也 收录 了 我 们 的 网 站 ， 这 时 ， 同 时 在 线 的 用 户 数量 直线 上 升 ， 甚 至 会 达到 上 王 
人 ; 于 是 ， 网 站 变 得 异常 繁忙 ， 经 常会 反应 不 过 来 ， 这 个 时 候 用 户 势必 会 埋 奶 ， 为 了 不 影响 客户 对 我 们 的 信心 ， 一 定 要 想 办 法 解决 这 个 问题 。 试 想 ， 如 果 有 几 台 或 几 十 台 相 同 配置 的 机 器 ， 前 端 放 一 个 转发 
器 ， 轮 流转 发 客户 对 网 站 的 请 求 ， 每 台 机 器 都 将 用 户 数控 制 在 100 之 内 ， 那 么 网 站 的 反应 速度 就 会 大 大 增 快 ; 即使 其 中 的 某 台 服 务 器 因为 硬件 故障 宕 机 了 ， 也 不 会 影响 用 户 的 访问 。 其 中 ， 这 个 神奇 的 转发 
器 就 是 负载 均衡 器 ， 英 文 名 叫 Director。 那 么 什么 是 负载 均衡 呢 ? 负载 均衡 建立 在 现 有 的 网 络 结构 之 上 ， 它 提供 了 一 种 廉价 、 有 效 、 透 明 的 方法 来 扩展 网 络 设备 和 服务 器 的 带宽 ， 增 加 了 吞吐 量 ， 加 强 了 网 
络 数据 处 理 能 力 ， 提 高 了 网 络 的 灵活 性 和 可 用 性 ”我 们 通过 负载 均衡 器 ， 可 以 实现 N 台 廉价 的 PC 服务 器 并 行 处 理 ， 使 其 计算 能 力 达到 小 型 机 或 大 型 机 的 水 平 ， 这 也 是 目前 负载 均衡 如 此 流行 的 主要 原因 。 


高 可 用 (High Availability，HA) 其 实 有 两 种 不 同 的 含义 ， 从 广义 上 说 ， 是 指 整个 系统 的 高 可 用 (High Availability) 性 ; 从 狭义 上 说 ,一 般 是 指 主 机 的 元 余 接管 ， 如 主机 HA。 如 无 特殊 说 明 ， 本 书 中 
的 HA 都 是 指 广义 的 高 可 用 性 。 广 义 的 高 可 用 性 是 指 能 够 保证 整个 系统 不 会 因为 某 一 台 主 机 崩溃 或 故障 损坏 而 发 生 停止 服务 的 现象 ， 狭义 的 就 是 我 们 前 面 提 到 的 主机 的 允 余 接管 ， 下 面 我 们 可 以 从 最 前 端的 负 
载 均衡 器 谈 起 了 。 


单 台 负 载 均衡 器 位 于 网 站 的 最 前 端 ， 它 起 着 对 客户 的 请 求 进 行 分 流 的 作用 ， 相 当 于 整个 网 站 或 系统 的 入 口 ， 如 果 它 不 幸 骨 省 (Crash) 了 ， 整 个 网 站 也 会 挂 措 ， 所 以 这 个 时 候 要 求 有 一 种 方案 ,能 在 短 
时 间 (这 个 时 间 一 般 要 求 小 于 1 秒 ) 内 将 崩溃 的 负载 均衡 器 接管 过 去 ， 这 就 称 为 高 可 用 。 这 个 时 间 非 常 得 ， 客 户 完全 不 会 察觉 到 其 中 的 一 台 机 器 已 经 发 生 了 崩溃 的 情况 。 至 于 负载 均衡 器 后 端的 Web 集 群 、 
数据 库 集群 ， 因 为 有 负载 均衡 器 的 内 部 机 制 ， 即 使 是 其 中 的 某 一 台 或 两 台 发 生 问题 ， 也 不 会 影响 整套 系统 的 使 用 ， 这 种 意义 上 的 高 可 用 就 是 广义 上 的 。 


现在 我 们 俗称 的 Linux 集 群 (Cluster) ， 指 的 就 是 大 范围 内 的 整套 系统 架构 ， 相 对 于 负载 均衡 器 后 端的 Web 集 群 、Resin 集 群 或 MySQL 集 群 来 说 ， 它 的 涵盖 面 要 广 得 多 ， 包 括 负载 均衡 和 高 可 用 。 这 里 
为 了 便于 区 别 ， 在 提 到 集群 时 一 般 会 带 上 前 缀 ， 比 方 阅 Web 集 群 ， 指 的 就 是 后 端 提供 相同 服务 的 Web 机 器 群 ;如果 是 Linux 集 群 ， 指 的 就 是 大 范围 的 系统 集群 架构 ， 希 望 大 家 不 要 混淆 。 


目前 ， 线 上 环境 中 应 用 得 比较 多 的 负载 均衡 器 硬件 有 F5 BIG-IP 和 Citrix NetScaler， 软 件 有 LVS、Nginx 及 HAProxy， 高 可 用 软件 有 Heartbeat、Keepalived， 成 熟 的 Linux 集 群 架构 有 DNS 轮 询 、 
LVS+Keepalived、Nginx/HAProxy+Keepalived 及 DRBD+Heartbeat， 建 议 大 家 还 可 以 关注 下 AWS 的 Elastic Load Balancing。 


7.2 ”负载 均衡 关键 技术 


7.2.1 什么 是 Session 


Session 在 网 络 应 用 中 被 称 为 “会 话 ”， 借 助 它 可 提供 服务 器 端 与 客户 端 系统 之 间 必 要 的 交互 。 因 为 HTTP 协 议 本 身 是 无 状态 的 ， 所 以 经 常 需要 通过 Session 来 解决 服务 器 端 和 浏览 器 端的 保持 状态 的 问 
题 。Session 是 由 应 用 服务 器 维持 的 一 个 服务 器 端的 存储 空间 ， 用 户 在 连接 服务 器 时 ， 会 由 服务 器 生成 一 个 唯一 的 SessionID， 该 session1D 被 作为 标识 符 来 存 取 服 务 器 端的 Session 存 储 空 间 。 


Session1D 这 一 数据 是 用 Cookie 保 存 到 客户 端的 ， 用 户 提交 页 面 时 ， 会 将 这 一 Session1D 提 交 到 服务 器 端 ， 来 存 取 Session 数 据 。 服 务 器 也 通过 URL 重 写 的 方式 来 传递 session1D 的 值 ， 因 此 它 不 是 完全 依 
赖 于 Cookie 的 。 如 果 客 户 端 Cookie 禁 用 ， 则 服务 器 可 以 通过 重 写 URL 的 方式 来 自动 保存 Session 的 值 ， 并 且 这 个 过 程 对 程序 员 透 明 。 


7.3 ”负载 均衡 器 的 会 话 保持 机 制 


会 话 保持 机 制 的 目的 是 保证 在 一 定时 间 内 某 一 个 用 户 与 系统 之 间 的 会 话 只 交 给 同一 台 服 务 器 进行 处 理 ， 这 一 点 在 满足 网 银 、 网 购 等 应 用 场景 的 需求 时 格外 重要 。 负 载 均衡 器 实现 会 话 保持 一 般 会 有 如 下 
几 种 方案 。 


“ 基于 源 IP 地 址 的 持续 性 保持 : 主要 用 于 四 层 负 载 均衡 ， 这 种 方案 应 该 是 大 家 最 为 熟悉 的 ，LVS/HAProxy、Nginx 都 有 类 似 的 处 理 机 制 ， 比 如 Nginx 有 ip_hash 算 法 ，HAProxy 有 source 算 法 。 


: 基于 Cookie 数 据 的 持续 性 保持 : 主要 用 于 七 层 负载 均衡 ， 以 便 确 保 同一 会 话 的 报 文 能 够 被 分 配 到 同一 台 服 务 器 中 。 其 中 ， 根 据 服务 器 的 应 答 报 文中 是 否 携带 含有 服务 器 信息 的 Set_Cookie 字 段 ， 又 可 以 
分 为 Cookie 插 入 保持 和 Cookie 截 取保 持 。 


“ 基于 HTTP 报 文 头 的 持续 性 保持 : 主要 用 于 七 层 负 载 均衡 ， 当 负载 均衡 器 接收 到 某 一 个 客户 端的 首次 请 求 时 ， 会 根据 HTTP 报 文 头 关键 字 建 立 持续 性 表 项 ， 记 录 下 为 该 客户 端 分 配 的 服务 器 情况 ， 在 会 
话 表 项 的 生存 期 内 ， 后 续 具 有 相同 HTTP 报 文 头 信息 的 连接 都 将 发 往 该 服务 器 进行 处 理 。 


7.4 Linux 集 群 的 项 目 案例 分 享 


7.4.1 ”案例 分 享 一 : 用 Nginx+Keepalived 实 现在 线 票 务 系统 


四 | 


如 


中 | 


7-6 所 示 。 


这 是 一 套 以 前 实施 过 的 在 线 订 票 系统 ， 防 火 墙 、 交 换 机 、 服 务 器 均 置 于 电信 机 房 的 同一 机 柜 中 ， 服 务 器 的 带宽 为 40MB， 项 目 拓扑 


Ey 
华 赛 
USGSO000 WAF-T3-500-L 


1. 整 套 系统 的 安全 考虑 


因为 牵涉 到 信 


墙 用 的 则 是 透明 模式 。 


卡 和 银行 卡 在 线 支付 的 问题 ， 所 以 系统 的 安全 性 就 需要 尤为 
安装 了 CentOS 5.4 x86_64; 软件 层 分 为 负载 均衡 层 、Web 层 、 数 据 库 层 ， 整 套 系统 均 关闭 了 iptables 防 火 墙 ， 只 映射 eepalived 虚 拟 的 VIP 在 最 前 端的 华 赛 USG5000I 
全 级 别提 高 到 金融 安全 级 别 ， 再 考虑 负载 均衡 及 其 他 事宜 。 另 外 ， 网 络 工程 师 都 应 该 清楚 ， 防 火 墙 有 三 种 工作 模式 一 一 路 由 、 透 明和 混合 模式 ， 在 这 里 ， 华 赛 USG5000 防 火 墙 用 的 是 路 由 模式 ， 而 天 泰 防火 


nginx—master 


‘ Ny -局 


nginx—backup 


ww 


nginx—Keepalived 


图 7-6 在线 订 票 系统 网 络 拓 相 图 


下 面 简单 介绍 下 这 两 种 防火 墙 。 


华 赛 USG5000 可 以 有 效 抵御 高 强度 的 网 络 攻击 ， 同 时 还 可 以 保证 正常 的 网 络 应 用 。 其 基于 多 核 处 理 器 的 硬件 构架 ， 依 靠 多 线程 处 理 设 计 提 供 了 十 分 优异 的 数 


商 、 大 型 企业 、 园 
大 流量 网 络 攻击 的 


USG5000 能 


护 ， 依 靠 其 优越 的 产品 性 能 ， 
识别 和 防范 功能 ， 结 合 华为 赛 门 铁 克 专 有 的 ICA 智 能 连接 算法 ， 保 证 在 准确 识别 DDoS 攻击 流量 的 同时 ， 不 影响 


上 述 功 能 也 是 我 们 


而 天 泰 WAF-T3-500-L 安 全 网 关 防 火 墙 则 


效 地 保障 网 络 的 正常 运行 ， 并 且 其 独特 的 GTP 安 全 防护 功能 可 以 为 GPRS 网 络 提供 有 效 的 安全 防护 。USG5000 安 全 网 关 可 以 抵御 大 流量 的 DDoS 攻击 ， 为 


区 网 、 数 据 中 心 等 具备 大 流量 网 络 带 宽 的 用 户 提供 高 性 能 的 安全 防御 手段 。 尤 其 是 USG5000 所 
情况 下 ， 仍 然 可 以 防止 网 络 业务 中 断 ， 避 免 给 用 户 带 来 损失 。 


bb abl 


nginx_2 


mast 


mysql 


slave 


关注 的 重点 。 


WAF-T3-500-L 安 全 性 能 如 下 。 


“ 常见 网 络 攻击 防护 : 保护 网 络 基础 设施 不 受 常见 的 、 来 自 网 络 层 的 恶意 攻击 的 影响 。 


备 全 面 的 攻击 防御 系统 ， 可 保证 系统 不 受 网 络 蠕虫 /病毒 和 应 用 专用 
NetShield 引 擎 在 网 络 层 会 对 数据 进行 细致 检查 ， 彻 底 阻 断 来 自 网 络 层 的 潜在 攻击 ， 并 在 应 用 


局 洞 的 攻击 ， 并 且 大 大 缓解 了 来 自 网 络 层 和 应 用 层 DoS/DDoS 攻 击 的 影响 。 网 关 的 


层 会 对 Web 请 求 进行 检查 ， 辨 别 恶意 内 容 并 阻止 其 进入 应 用 服务 器 。 


“ DoS/DDoS 保 护 : 识别 网 络 层 和 应 用 层 的 DoS/DDoS 攻 击 ， 缓 解 攻击 对 应 用 基础 设施 的 影响 (这 也 是 我 们 关注 的 重点 ) 。 


“ 入 侵 过 滤 : 通过 在 恶意 蠕虫 和 病毒 进入 应 用 服务 器 之 前 进行 识别 并 拒绝 其 进入 ， 保 护 应 用 服务 器 不 受 侵 履 。 


er 


晶 视 了 。 在 项 目 实施 的 过 程 中 ， 在 安全 防护 方面 ， 笔 者 公司 是 采用 硬件 防火 墙 加 上 应 用 层 防 火 墙 双 层 防 护 来 实现 的 ， 系 统 均 
的 外 网 80 端 口上 ， 先 将 整套 系统 的 安 


居 处 理 能 力 ， 完 全 可 以 为 Internet 服 务 提供 
备 的 超 高 的 “每 秒 新 建 连接 数 ”， 不 仅 可 以 对 多 种 并 行 的 网 络 应 用 实现 快速 响应 ， 而 且 在 


户 的 业务 系统 提供 DDoS 攻击 防 
能 防范 每 秒 数 百 万 包 以 上 的 DDoS 攻击 ， 可 准确 识别 并 控制 SYN FLOOD、UDP FLOOD、ICMP FLOOD、DNS FLOOD、CC 等 多 种 DDoS 攻击 ， 同 时 还 能 提供 蠕虫 病毒 流量 的 
户 的 正常 访问 ， 在 复杂 的 网 络 情况 下 实现 真正 的 安全 防护 ， 是 业界 领先 的 DDoS 防护 设备 ， 


“SSL 加 密 : 应 用 内 容 在 传输 过 程 中 都 会 受到 加 密 保护 ， 通 过 转移 服务 器 复杂 的 加 /解密 任务 将 应 用 处 理 能 力 发 挥 到 极致 。 该 功能 可 保护 敏感 应 用 内 容 的 安全 ， 使 其 摆脱 被 窃取 及 被 滥用 的 潜在 威胁 。 


此 外 ， 能 实现 SQL 注入 攻击 、 钩 鱼 攻击 、 跨 站 脚本 攻击 的 防护 ， 以 及 常见 的 系统 溢出 的 防护 等 ， 这 也 是 我 们 比较 关注 的 内 容 。 


关于 安全 证 书 的 配置 ， 笔 者 公司 购买 了 Geo Trust 的 商业 证 书 ， 它 是 支持 多 域名 的 HTTPS 的 ， 防 止 以 后 域名 有 rewrite 跳 转 的 需求 ， 价 格 自然 也 不 菲 了 。 另 外 ， 我 们 还 购买 了 Mcafee 的 网 站 扫描 服务 ， 这 
层面 安全 的 。 


一 服务 是 针对 代码 


2. 硬 件 方面 的 投入 


我 们 一 般 采 


器 作为 应 用 服务 器 。 


双 线 通 机 房 ; 出 口 


3. 负 载 均衡 层 


的 服务 器 是 HP DL380G6 (用 于 后 面 的 Web 集 群 ) 和 HP DL580G5 (用 于 MySQL 数 据 库 ) 。 在 项 目 实施 过 程 中 我 们 发 现 HP DL580G5 的 性 能 确实 优越 ， 如 果 成 本 充足 ， 可 考虑 采 
的 是 双 四 核 至 强 E74403.2G 的 CPU， 内 存 一 般 是 64GB 或 146GB， 这 可 以 根据 项 目 成 本 来 权衡 。 在 租 


它 跟 以 往 的 老 型 号 不 同 ， 


带宽 建议 为 40MB。 


在 负载 均衡 层 


， 我 们 采 


的 软件 是 Nginx 0.8.15 源 码 (当时 最 新 最 稳定 的 版 本 ) ， 两 台 Nginx 负 载 均衡 


Keepalived 作 高 HA。 其 实 也 可 以 


LVS/Keepavlied 来 实现 ， 但 我 们 在 项 目 实施 过 程 中 发 


现 ，Nginx 在 正则 处 理 及 分 发 上 效果 比 LVS 更 好 (有 些 功能 LVS 实 现 不 了 ) ， 而 且 稳 定性 也 不 错 。 在 已 上 线 的 金融 资讯 类 网 站 的 项 目 里 ， 笔 者 做 
当然 也 要 配合 Cacti+ Nagios 进 行 实时 监控 。 


的 是 1+2 的 架构 ( 按 客户 的 要 求 ) ， 已 经 稳定 运行 好 几 生 


此 服务 
机 房 时 ， 我 们 一 般 选择 的 是 电信 机 房 ， 也 可 以 考虑 北京 


E7, 


那么 如 何 处 理 Session 的 问题 呢 ; 有 如 下 两 种 方案 。 


: Nginx 负 载 均衡 器 采用 ip_hash 算 法 机 制 ， 让 访问 的 客户 端 始终 与 后 端的 某 台 Web 服 务 器 建立 固定 的 连接 关系 。 


“ 采用 与 PHPCMS 类 似 的 方法 ， 


将 Session 写 进 后 端的 统一 数据 库 里 ， 例 如 MySQL 数 据 库 。 


前 期 我 们 采用 的 是 第 二 种 方案 ， 


4.Web 层 


页 面 同步 的 办 法 如 下 所 示 : 


后 来 发 现 数据 库 的 压力 会 因此 而 增 大 ， 所 以 采取 了 前 一 种 会 话 保持 的 方法 。 


“不同 的 Web 服 务 器 之 间 ， 代 码 的 同步 可 以 采用 rsync+inotify 的 办 法 ， 图 片 建 议 用 独立 的 存储 。 


“ 后 端 采用 共用 存储 ， 读 数据 采用 同一 个 存储 设备 。 这 里 说 一 下 要 用 到 的 存储 设备 ， 我 们 用 得 比较 多 的 是 EMC CLARiiON CX4 的 FC 磁盘 阵列 ， 它 很 稳定 ， 没 发 生 过 丢失 数据 库 的 问题 缺点 是 比较 贵 ， 


会 增加 整个 系统 的 实施 成 本 


“ 在 PHP 程 序 上 实现 动态 地 中 调 取 数据 ， 不 在 Web 服 务 器 中 调 取 而 直接 采用 后 端的 文件 服务 器 或 存储 。 


前 期 笔者 公司 用 的 是 


个 人 觉得 这 几 种 方案 


里 性 价 比 最 高 的 当 


此 外 ，Web 集 群 方面 用 的 是 Nginx+ PHP5 (FastCGI) 


NFS 方 案 ， 后 期 采用 的 是 DRBD+Heartbeat+ NFS 方 案 (客户 最 后 要 求 要 上 存储 ， 我 们 就 上 了 EMC CLARiiON CX4) ， 其 稳定 性 还 是 很 不 错 的 。 


属 rsync+inotify 了 。 


， 这 里 说 一 下 并 发 的 问题 。 在 设计 项 目 方案 时 ,我 们 考虑 单 台 Web 服 务 器 上 的 并 发 值 为 3000， 在 局 域 网 环境 中 (要 考虑 网 络 环境 的 影响 ) 通过 


LoadRunner 反 复 测试 ， 单 台 Nginx 的 Web 服 务 器 通过 3000 的 并 发 是 没有 问题 的 ，3 台 Web 机 器 就 是 3000x 3 并发。 但 系统 正式 上 线 时 会 发 现 ， 在 非 游戏 类 的 网 站 上 根本 达 不 到 9000 并 发 ， 这 只 是 一 个 理论 
值 。 本 着 高 扩展 性 的 原则 ， 我 们 还 是 尽量 在 硬件 和 性 能 上 对 单 台 Web 服 务 器 进行 了 调 优 我们 要 设计 的 这 个 票务 系统 是 9000 万 张 票 ， 预 计 并 发 在 2000 左 右 ， 此 系统 架构 完全 能 胜任 此 并 发 情况 。 另 
外 ，Nginx 作 为 负载 均衡 器 /代理 服务 器 在 高 并 发 下 的 稳定 性 是 组 庸 置疑 的 ， 有 相关 项 目 经 验 的 人 都 应 该 清楚 这 点 。 


5 数据 库 层 


考虑 到 数据 库 层 的 压力 情况 ， 这 里 提出 四 种 设计 方案 : 


“ 采用 最 常用 的 MySQL 一 主 一 从 方案 ， 在 主 MySQL 数 据 库 上 做 好 单机 数据 库 的 优化 。 


:采用 MySQL 的 一 主 多 从 、 读 写 分 离 方案 ， 另 还 可 以 考虑 自己 开发 中 间 件 技术 ， 让 真正 实现 写 功能 的 MYSQL 压 力 降低 ， 从 而 达到 数据 库 架 构 级 调 优 的 功能 。 


“ 可 以 做 MYSQL 数据 库 的 垂直 切 分 ， 将 压力 过 大 的 MySQL 数据 库 根据 业务 分 成 几 个 小 数据 库 ， 以 减轻 压力 。 


“ 如 果 读 写 压力 还 是 过 大 ， 考 虑 采用 Oracle 数 据 库 的 RAC 方 案 ， 我 们 曾 用 此 方案 成 功 解决 了 某 企 业 100 万 用 户 的 OA 在 线 系统 数据 库 压 力 大 的 问题 ， 当 然 预算 成 本 也 大 大 增加 了 。 


项 目 实施 时 ， 我 们 用 的 是 MySQL 一 主 一 从 方案 ， 项 目 上 线 后 发 现 事 实 上 数据 库 的 压力 并 没有 想象 中 的 那么 大 。 
目前 整套 系统 已 在 线 上 稳定 运行 ， 并 且 在 高 并 发 时 间 段 也 没有 发 生 任何 问题 。 笔 者 通过 设计 这 套 网 站 架构 (包括 防火 墙 的 型 号 ) 整理 出 了 一 个 框架 ， 并 已 形成 工作 文档 ， 可 用 于 公司 其 他 项 目的 实施 方 
案 中 。 


7.5 ”软件 级 负载 均衡 器 的 特点 介绍 与 对 比 


现在 网 站 发 展 的 趋势 对 网 络 负载 均衡 的 要 求 是 : 随 着 网 站 规模 的 提升 ， 根 据 不 同 的 阶段 使 用 不 同 的 技术 ， 如 下 所 示 : 


一 种 是 通过 硬件 来 进行 ， 常 见 的 硬件 有 比较 昂贵 的 Ne 
时 还 没有 使 用 它 的 必要 ; 另外 一 种 就 是 类 似 于 LVS/HAProxy、Nginx 的 、 基 于 Linux 的 负载 均衡 软件 策略 ， 这 些 都 是 通过 软件 来 实现 的 ， 所 以 费用 非常 低廉 ， 故 而 推荐 大 家 采用 第 二 
种 方案 来 实施 自己 网 站 的 负载 均衡 需求 。 


模 较 小 的 网 络 服务 来 说 暂 


很 多 朋友 担心 软件 级 别 的 负载 均衡 在 高 并 发 流量 冲击 下 的 稳定 情况 ， 事 实 是 我 们 通过 成 功 上 线 的 许多 网 站 和 系统 可 以 发 现 ， 软 件 级 别 的 负载 均衡 的 稳定 性 也 是 非常 好 的 ， 宕 机 的 可 能 性 微 平 其 微 ， 下 面 


tScaler、F5 Big-IP 等 商用 的 负载 均衡 器 ， 它 的 优点 就 是 性 能 稳定 、 模 块 丰 富 ， 并 且 有 专业 的 维护 团队 来 做 维护 ， 缺 点 就 是 花 销 太 大 ， 所 以 对 于 规 


就 它们 的 特点 和 适用 场合 分 别 进 行 说 明 。 


1.LVS 


它 是 使 用 集群 技术 和 Linux 操 作 系统 实现 的 一 个 高 性 能 、 高 可 用 服务 器 ， 具 有 很 好 的 可 伸缩 性 (Scalability) 、 可 靠 性 (Reliability) 和 可 管理 性 (Manageability) ， 感 澳 章 文 渍 博士 为 我 们 提供 如 此 强 


大 实用 的 开源 软件 。 


LVS 的 特点 是 : 


“ 抗 负载 能 力 强 、 工 作 在 网 络 四 层 之 上 仅 作 分 发 之 用 ，DR 模 式 没 有 流量 的 产生 ， 这 个 特点 也 决定 了 它 在 负载 均衡 软件 里 的 性 能 是 最 强 的 。 


“ 配置 性 比较 低 ， 这 是 一 个 缺点 也 是 一 个 优点 ， 因 为 没有 太 多 可 配置 的 东西 ， 所 以 并 不 需要 太 多 接触 ， 大 大 减少 了 人 为 出 错 的 概率 。 


“ 运行 稳定 ， 自 身 有 完整 的 双 机 热 备 方案 ， 如 LVS+Keepalived 和 LVS+Heartbeat， 不 过 我 们 在 项 目 实施 中 用 得 最 多 的 还 是 LVS/DR+Keepalived， 建 议 大 家 也 多 关注 下 淘宝 开发 的 LVS/FullNAT 模 式 。 


“无 流量 ,保证 了 均衡 器 IO 的 性 能 不 会 受到 大 流量 的 影响 。 


“应 用 范围 比较 广 ， 


可 以 对 所 有 应 用 做 负载 均衡 。 


“ 软件 本 身 不 支持 正则 处 理 ， 不 能 做 动静 分 离 ， 这 个 就 比较 遗憾 了 ; 其 实现 在 许多 网 站 在 这 方面 都 有 较 强 的 需求 ， 这 个 是 Nginx/HAProxy+Keepalived 的 优势 所 在 。 


“ 如 果 网 站 应 用 比较 庞大 ， 实 施 LVSVDR+Keepalived 就 会 比较 复杂 ， 特 别 是 如 果 后 面 有 Windows Server 应 用 的 机 器 的 话 ， 实 施 、 配 置 及 维护 过 程 就 会 更 复杂 了 ， 相 对 而 言 ，Nginx/HAProxy+Keepalived 的 


部 署 及 维护 就 简单 得 多 了 


2.Nginx 


Nginx 的 特点 是 : 
“ 工作 在 网 络 的 七 层 之 上 ， 可 以 针对 HTTP 应 用 做 一 些 分 流 的 策略 ， 比 如 针对 域名 、 目 录 结 构 ， 它 的 正则 规则 比 HAProxy 更 为 强大 和 灵活 ， 这 也 是 许多 朋友 喜欢 它 的 原因 之 一 。 
“ Nginx 对 网 络 的 依赖 性 非常 小 ， 理 论 上 能 ping 通 就 能 使 用 Nginx 进 行 负载 功能 ， 这 个 也 是 它 的 优势 所 在 。 
: Nginx 的 安装 和 配置 比较 简单 ， 测 试 起 来 比较 方便 。 
“ Nginx 既 可 以 承担 很 高 的 负载 压力 又 很 稳定 ， 一 般 能 支撑 超过 几 万 次 的 并 发 量 。 
Nginx 可 以 通过 端口 检测 到 服务 器 内 部 的 故障 ， 比 如 根据 服务 器 处 理 网 页 返回 的 状态 码 、 超 时 等 ， 并 且 会 把 返回 错误 的 请 求 重新 提交 到 另 一 个 节点 ， 不 过 其 中 的 缺点 就 是 不 支持 URIL 来 检测 。 
“ Nginx 只 能 支持 HTTP 和 E-mail， 这 样 其 适用 范围 就 小 了 很 多 ， 这 个 是 它 的 弱势 。 


: Nginx 不 仅仅 是 一 款 优秀 的 负载 均衡 器 / 反 向 代理 软件 ， 同 时 也 是 功能 强大 的 Web 应 用 服务 器 。LNMP 现 在 也 是 非常 流行 的 Web 架 构 ， 大 有 和 以 前 最 流行 的 LAMP 架 构 分 庭 抗 礼 之 势 ， 在 高 流量 的 环境 中 
也 有 很 好 的 效果 。 


“如今 ，Nginx 作 为 Web 反 向 加 速 缓存 变 得 越 来 越 成 熟 了 ， 很 多 朋友 都 已 将 其 投入 生产 环境 中 进行 生产 了 ， 而 且 反 映 效 果 还 不 错 ， 束 度 比 传统 的 Squid 服 务 器 更 快 ， 有 此 需求 的 朋友 可 以 考虑 在 其 合适 的 工 
作 场 景 中 将 其 作为 反 向 代理 加 速 器 。 


3.HAProxy 

HAProxy 的 特点 是 : 

: 抗 负载 能 力 强 ， 兼 备 四 层 和 七 层 负 载 均衡 的 作用 ， 可 以 代替 LVS， 用 于 四 层 负载 均衡 分 发 流量 之 用 。 
“ 支持 虚拟 主机 。 

: 能 够 补充 Nginx 的 一 些 缺 点 比如 Session 的 保持 ，Cookie 的 引导 等 工作 。 


“ 跟 LVS 一 样 ， 本 身 仅 仅 只 是 一 款 负载 均衡 软件 ; 单纯 从 效率 上 来 讲 ，HAProxy 比 Nginx 有 更 出 色 的 负载 均衡 速度 ， 在 并 发 处 理 上 也 是 优 于 Nginx 的 。 


7.6 ”网 站 系统 架构 设计 图 


笔者 工作 中 的 部 分 网 站 系统 架构 设计 图 ， 分 别 如 图 7-11 至 图 7-14 所 示 : 
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图 7-11 网 站 系统 架构 设计 图 一 
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图 7-12 网 站 系统 架构 设计 图 二 
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图 7-13 ”网 站 系统 架构 设计 图 
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图 7-14 ”网 站 系统 架构 设计 图 四 


7;7 :外 结 


这 一 章 主要 向 大 家 介绍 了 Linux 集 群 技术 所 采用 的 开源 软件 ， 例 如 LVS、HAProxy、Nginx 及 DNS 轮 询 等 ， 并 介绍 了 负载 均衡 中 的 常用 技术 ， 比 如 : Session 共 享 、 会 话 保持 、 常 见 的 算法 等 。 另 外 还 通过 真 
实 的 项 目 演示 着 重 介绍 了 现在 比较 流行 Nginx/HAProxy+Keepalived、DRBD+Heartbeat 等 负载 均衡 高 可 用 技术 ， 相 信 通 过 阅读 这 节 内 容 ， 大 家 会 对 生产 环境 下 的 Linux 集 群 有 所 了 解 。 现 在 越 来 越 多 的 公司 和 企 
业 意 识 到 了 ILinux 集 群 的 稳定 和 高 效 性 能 ， 所 以 都 考虑 采用 它 为 企业 提供 负载 均衡 高 可 用 的 方案 。 和 希望 大 家 能 熟练 掌握 Linux 集 群 的 相关 知识 ， 为 自己 的 职业 技能 提升 技术 含金量 ， 这 对 自身 的 成 长 也 是 非常 有 
帮助 的 。 


第 8 章 “” 浅 谈 网 站 系统 架构 设计 


作为 一 名 运 维 架构 设计 师 ， 很 多 时 候 需要 设计 公司 的 电子 商务 或 业务 网 站 的 系统 架构 ， 这 个 时 候 就 需要 根据 业务 需求 及 公司 自身 的 实际 情况 ， 以 预算 为 前 提 ， 设 计 出 一 套 高 可 用 、 高 性 能 、 高 可 扩展 性 
的 架构 预案 并 评估 其 实际 可 实施 性 。 正 式 启动 此 架构 预案 方案 的 时 候 ， 运 维 架构 师 也 必须 要 亲 力 亲 为 地 实施 、 维 护 并 进行 合理 优化 ， 保 证 公司 的 电子 商务 网 站 或 其 他 业务 网 站 的 稳定 运行 ， 这 个 是 运 维 架构 
师 的 职责 所 在 。 


8.1 网 站 架构 设计 规划 预案 


8.1.1 利用 经 验 ， 合 理 设计 


运 维 架 构 师 应 根据 之 前 的 工作 经 验 ， 设 计 合理 的 网 站 架构 方案 ， 引 导 技术 团 队 树立 正确 的 系统 架构 设计 思想 ， 指 明正 确 的 方向 ， 规 避 以 后 网 站 升级 可 能 会 存在 的 风险 ， 具 体 如 下 所 示 : 
“ 高 流量 高 并 发 的 网 站 一 定 要 采用 分 布 式 的 架构 思想 来 设计 ， 可 以 采用 DNS 轮 询 将 最 外 面 的 流量 进行 一 级 分 流 。 

: 合理 利用 CDN 系 统 ， 注 意 CDN 回 源 的 问题 。 

“ 图 片 服 务 器 采用 独立 域名 ， 而 非 二 级 域名 。 

“ 尽量 选用 BGP 机 房 或 线路 。 

“ 成 本 方面 一 定 要 控制 ， 尽 量 选 用 免费 开源 方案 。 

“ 尽量 选用 目前 比较 成 熟 稳定 的 技术 。 


“ 慎重 选用 业务 核心 系统 的 开发 语言 和 开发 框架 ， 在 后 期 进行 代码 重 购 将 是 一 件 非常 复杂 和 痛苦 的 事情 。 


8.2 ， 百 万 级 PV 高 可 用 网 站 架构 设计 


在 许多 小 公司 和 小 企业 ， 尤 其 是 涉及 电子 广告 和 电子 资讯 类 的 网 站 ， 其 网 站 的 日 PV 不 超过 一 百 万 ， 但 由 于 其 重要 性 ， 也 要 求 网 站 应 该 具备 负载 均衡 高 可 用 的 特点 ; 另 一 方面 ， 由 于 成 本 的 制约 ， 公 司 都 
会 要 求 系统 架构 师 设 计 的 方案 能 够 用 最 少 的 预算 来 满足 这 个 要 求 ， 作 为 运 维 架 构 师 的 我 们 ， 应 该 如 何 满足 这 个 要 求 呢 ? 


首先 是 机 房 的 选择 ， 如 果 公司 有 自己 的 机 房 那 是 最 好 不 过 的 了 ; 如 果 没 有 自己 的 机 房 ， 建 议 放 在 BGP 机 房 内 托管 ， 最 好 是 选择 带 有 硬件 防火 墙 的 BGP 机 房 ， 在 安全 方面 会 更 有 保障 。 另 外 ， 如 何 选择 服 
务 器 呢 ? 在 有 了 负载 均衡 高 可 用 的 集群 环境 后 ， 我 们 完全 可 以 自己 组 装 服务 器 ， 这 在 性 价 比 上 也 是 最 高 的 。 像 |BM 和 DELL 等 品牌 的 服务 器 ， 虽 然 质 量 有 保障 ， 但 价格 还 是 比较 昂贵 的 。 当 然 了 ， 一 切 以 稳定 
为 前 提 和 原则 。 


3 外， 如 果 考虑 用 云 产 品 来 部 署 自己 的 网 站 ， 可 以 对 比 下 阿里 云 和 亚马逊 云 的 价格 ， 亚 马 逊 AWS 宣 布 入 华 后 ， 阿 里 云 的 全 线 产 品 下 降 了 30%。 而 云 计 算 相 比 传统 IT 的 最 大 优势 在 于 成 本 。 如 果 对 比 下 同 
等 规模 的 机 器 ， 可 以 发 现 阿里 云 在 价格 上 具有 绝对 的 优势 。 所 以 对 于 小 型 网 站 来 说 ， 可 以 考虑 采用 阿里 云 的 方式 进行 部 署 。 


网 站 架构 设计 首先 要 考虑 的 是 负载 均衡 设备 的 选择 。 这 里 有 两 种 选择 ， 一 种 是 通过 硬件 来 进行 ， 常 见 的 硬件 有 上 比较 昂贵 的 NetScaler、F5 BIG-IP 等 商用 的 负载 均衡 器 ， 优 点 就 是 有 专业 的 维护 团队 来 对 
这 些 服务 进行 后 期 维护 ; 缺点 就 是 开销 太 大 ， 所 以 对 于 规模 较 小 的 网 络 服务 来 说 暂时 还 没有 使 用 的 需要 。 另 外 一 种 就 是 类 似 于 LVS/HAProxy、Nginx 等 基于 Linux 的 负载 均衡 软件 策略 ， 这 些 都 是 通过 软件 级 
别 来 实现 的 ， 所 以 费用 非常 低廉 ， 小 型 企业 和 公司 大 都 会 选择 软件 级 别 的 负载 均衡 。 


至 于 负载 均衡 高 可 用 架构 ， 首 推 是 Nginx/HAProxy+Keepalived 架 构 ， 可 能 有 读者 会 有 疑问 ， 为 什么 不 选择 基于 LVS/DR+ Keepalived 的 集群 方案 呢 ? 这 是 因为 我 们 部 署 的 网 站 一 般 都 会 有 动静 分 离 、 正 
则 分 发 的 需求 ， 如 果 最 初始 选用 LVS+Keepalived 的 架构 ， 那 么 至 少 又 要 在 中 间 加 一 层 二 级 负载 均衡 的 机 器 ， 这 样 会 比较 耗 机 器 ， 无 形 中 也 会 增加 整个 网 站 的 成 本 。 另 外 ， 很 多 朋友 都 比较 担心 的 一 个 问题 ， 
认为 NginXW/HAProxy+Keepalived 的 稳定 性 不 如 LVS+Keepalived， 这 其 实 是 个 误解 。 我 们 通过 十 几 个 项 目的 实施 和 几 年 的 观察 ， 发 现 这 些 软件 级 别 的 负载 均衡 器 的 稳定 性 确实 很 好 ， 在 高 并 发 的 情况 下 罕 
机 的 可 能 性 微乎其微 。 而 近期 实施 的 一 个 商业 网 站 ， 用 的 就 是 HAProxy+Keepalived， 在 亿 PV/ 日 高 并 发 流量 的 冲击 下 ，HAProxy 稳 如 磐石 。 而 小 公司 的 并 发 和 流量 一 般 不 是 特别 大 ， 大 概 一 天 持续 在 100 万 
~500 万 PV/ 日 之 间 ， 所 以 这 里 也 向 大 家 推荐 使 用 HAProxy+Keepalived。 


在 实际 的 项 目 实施 过 程 中 笔者 发 现 ， 像 这 样 的 集群 方案 也 比较 耗费 资源 ， 特 别 是 对 于 网 站 规模 较 小 ， 机 器 非常 少 的 情况 ， 效 果 会 不 太 好 。 笔 者 之 前 维护 的 公司 有 一 个 新 闻 类 网 
站 http://www.3159.com (此 域名 做 了 无 害处 理 ， 非 真实 域名 ) ， 其 服务 器 就 比较 少 ， 而 且 是 阿里 云 主机 ， 前 期 做 的 是 HAProxy+ Keepalived 集 群 方案 ， 但 发 现 效果 并 不 是 特别 好 ， 因 为 阿里 云 主机 的 带宽 
都 是 共享 100MB， 实 际 上 分 配 到 网 站 入 口 的 带宽 仅仅 只 有 10MB 左 右 ， 繁 忙 的 时 候 会 严重 影响 业务 ， 虽 然 每 个 月 我 们 通过 加 钱 的 方式 来 增加 HAProxy+ Keepalived 的 入 口 带宽 ， 但 并 不 是 完美 的 解决 方案 ， 
其 他 机 器 的 共享 带宽 没有 得 到 充分 的 利用 。 此 外 ， 由 于 所 有 的 机 器 都 是 独 享 型 主机 ， 二 层 交 换 机 也 并 不 集中 在 一 个 机 柜上 ， 若 在 中 间 加 一 层 HAProxy 代 理 ， 网 站 的 速度 很 明显 又 会 变 慢 。 这 时 候 ， 笔 者 突然 
想到 了 最 简单 和 原始 的 负载 均衡 机 制 ， 即 DNS 轮 询 ， 通 过 在 美国 的 HostMonster (DNS 提供 商 ， 国 内 像 新 网 和 万 网 均 提供 DNS 轮 询 功能 ) 上 配置 3 个 www 的 A 主 机 ， 这 样 就 解决 了 上 面 所 说 的 一 系列 问题 ， 
后 期 如 果 流 量 持续 增加 ， 还 可 以 增加 机 器 ， 将 网 站 入 口 由 原先 的 单一 入 口 模式 改 成 分 布 式 的 ， 而 且 完 全 不 影响 网 站 的 访问 速度 。 当 然 了 ， 平 时 一 定 要 注意 服务 器 的 监控 和 服务 器 的 稳定 情况 ， 毕 竟 每 宕 机 一 
台 服 务 器 ， 肯 定 会 有 用 户 受到 影响 的 。 


通过 这 次 成 功 的 项 目 实施 ， 我 也 明白 了 一 个 道理 : 集群 的 部 署 不 应 该 一 成 不 变 ， 而 应 该 根据 具体 情况 具体 分 析 ， 哪 种 方案 实用 就 用 哪 种 ， 哪 怕 是 最 简单 的 DNS 轮 询 。 


如 果 网 站 是 放 在 IDC 机 房 托管 ， 而 机 房 的 最 前 面 也 没有 硬件 防火 墙 防护 ， 那 么 应 该 尽量 做 好 流量 监控 的 工作 ， 笔 者 一 般 会 在 主 Nginx/HAProxy 上 安装 Nload 软 件 来 对 流量 进行 监控 ，NIload 可 以 对 流量 
进行 即时 监控 。 


很 多 对 集群 感 兴趣 的 读者 经 常 问 我 ， 如 果 网 站 要 部 署 负载 均衡 高 可 用 的 Linux 集 群 方案 ， 而 公司 又 想 用 最 节省 成 本 的 方式 来 实施 的 话 ， 一 般 需 要 几 人 台 服 务 器 呢 ? 如 果 资 金 比较 充裕 ， 推 荐 大 家 用 7 台 来 实 
施 ， 即 LB (2 台 ) +Web (2 台 ) +MySQL (2 台 ) +NFS (1 台 ) ; 如 果 资 金 非常 不 充裕 ， 这 个 方案 其 实 还 是 可 以 压缩 的 ， 即 2+ 2 架构， 最 前 面 是 2 台 Nginx/HAProxy+Keepalived 机 器 ， 后 面 是 2 台 配 置 比 较 
好 的 Web 机 器 (推荐 DELL R710) ，MySQL 数 据 库 采 用 一 主 一 从 的 方式 ,分 别 放 在 2 台 Web 机 器 上 ， 监 控 的 Nagios 部 署 在 从 Nginx/HAProxy 机 器 上 ， 流 量 监控 一 般 放 在 主 Nginx/HAProxy 上 ， 软 件 采用 的 
是 MRTG+Nload 的 方式 ,文件 服务 器 这 里 用 的 是 单 NFS， 放 在 备 HAProxy 机 器 上 ，Web 机 器 采用 挂 载 NFS 的 目录 作为 本 地 的 代码 或 图 片 存放 的 方法 ;当然 了 ， 如 果 大 家 的 公司 对 文件 服务 器 有 更 高 要 求 的 
时 候 (比如 网 站 的 图 片 数量 比较 多 的 时 候 ) ， 可 以 考虑 再 增加 一 台 图 片 服务 器 。 


[ 


在 类 似 以 上 的 小 公司 集群 架构 里 ， 应 如 何 解 决 Session 同 步 的 问题 呢 ? 可 以 采用 Nginx 的 ip_hash 和 HAProxy 的 balance source 算 法 ， 它 们 算法 的 原理 是 一 样 的 ， 都 会 让 某 一 客户 机 在 相当 长 的 一 段 时 间 
内 只 访问 固定 的 后 端的 某 台 真实 的 Web 服 务 器 。 这 样 Session 会 话 就 会 得 以 保持 ,我 们 在 网 站 的 页 面 上 进行 登录 的 时 候 ， 就 不 会 在 两 台 Web 服 务 器 之 间 跳 来 跳 去 了 ， 自 然 也 不 会 出 现 登录 一 次 后 网 站 又 提醒 
你 重新 登录 的 情况 ， 事 实 上 ， 在 干 万 级 PV/ 日 的 网 站 上 我 们 也 尝试 过 用 这 些 方式 来 解决 Session 同 步 的 问题 ， 效 果 也 是 相当 不 错 的 。 


另外 ， 小 公司 的 Web 服 务 器 也 至 少 有 两 种 选择 : 一 种 是 Apache， 另 一 种 是 Nginx。 在 流量 和 并 发 量 不 大 的 环境 下 ， 完 全 可 以 选择 Apache 作 为 我 们 的 Web 服 务 器 ， 虽 然 它 的 抗 并 发 能 力 不 高 ， 但 它 的 稳 
定性 是 最 好 的 ， 笔 者 的 许多 电子 商务 网 站 都 是 基于 Apache 来 提供 Web 应 用 的 。 


MySQL 在 这 里 用 的 就 是 一 主 一 从 的 设计 ， 虽 然 很 多 朋友 觉得 这 种 设计 比较 简单 ， 但 事实 证 明 ， 它 也 是 最 稳定 的 。 我 的 电子 商务 网 站 采用 的 也 是 这 种 架构 ， 几 年 下 来 ， 从 来 没有 因为 数据 库 的 故障 而 发 生 
丢 单 现象 。 另 外 ， 从 MySQL 机 器 并 非 仅仅 只 起 一 个 备份 和 备 机 的 作用 ， 我 们 设计 的 数据 库 读 写 分 离 ， 可 将 后 台 的 复杂 查询 转 到 从 MySQL 机 器 上 以 减轻 主 MySQL 数 据 库 的 压力 。 当 然 了 ，MySQL 的 主 从 复制 
状态 监控 也 是 非常 重要 的 ， 笔 者 一 般 是 通过 Nagios 和 Shell 脚 本 进行 双 监 控 的 方式 。 


如 何 能 帮 企业 节 约 和 省 钱 ， 这 其 实 也 是 运 维 架构 师 的 工作 职责 之 一 ， 希 望 大 家 在 工作 中 能 领悟 到 这 点 。 这 样 设 计 出 来 的 网 站 ， 极 具 性 价 比 ， 同 时 又 具备 高 可 用 的 特点 ， 特 别 适 合流 量 不 大 ， 但 稳定 性 要 
求 比较 高 的 网 站 ， 有 需求 的 朋友 可 以 参考 此 架构 设计 。 


8.3 和 干 万 级 PV 高 性 能 高 并 发 网 站 架构 设计 


随 着 网 站 的 知名 度 和 宣传 力度 越 来 越 高 ， 注 册 用 户 超过 干 万 了 ， 而 且 每 天 都 有 持续 增 涨 的 趋势 ， 而 PV/ 日 已 经 有 向 干 万 /日 靠近 的 趋势 ， 原 有 的 Web 架 构 越 来 越 满足 不 了 我 们 的 需求 了 。 所 以 这 时 候 需 要 
设计 出 高 性 能 高 可 用 的 网 站 架构 ， 在 这 套 架构 里 ， 运 维 架构 师 应 该 做 的 是 提升 站 点 的 整体 性 能 和 可 用 性 ， 不 只 是 前 端 代 理 ， 后 端 应 用 服务 器 、 数 据 库 、 中 间 件 等 ， 都 要 综合 考虑 。 这 个 架构 里 任何 一 个 点 存 
在 瓶颈 ， 整 体系 统 处 理 能 力 都 会 大 打折 扣 ， 我 们 不 要 让 它们 之 一 形成 短 板 效应 ， 网 站 拓扑 图 如 图 8-1 所 示 。 
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图 8-1 网 站 系统 架构 设计 


机 房 的 选择 应 尽量 选择 BGP 机 房 ， 双 线 次 之 。BGP 机 房 的 优势 如 下 : 


“ 服务 器 只 需要 设置 一 个 IP 地 址 ， 最 佳 访问 路 由 是 由 网 络 上 的 骨干 路 由 器 根据 路 由 跳 数 与 其 他 技术 指标 来 确定 的 ， 不 会 占用 服务 器 的 任何 系统 资源 。 服 务 器 的 上 行路 由 与 下 行路 由 都 能 选择 最 优 的 路 
径 ， 所 以 能 真正 实现 单 IP 高 速 访问 。 


“ 由 于 BGP 协 议 本 身 具 有 宛 余 备 份 、 消 除 环 路 的 特点 ， 所 以 当 IDC 服 务 商 有 多 条 BGP 互 联 线 路 时 可 以 实现 路 由 的 相互 备份 ， 其 中 一 条 线路 出 现 故 障 时 路 由 会 自动 切换 到 其 他 线路 。 
“ 使 用 BGP 协 议 还 可 以 使 网 络 具有 很 强 的 可 扩展 性 ， 可 以 将 IDC 网 络 与 其 他 运营 商 互联 ， 轻 松 实现 单 IP 多 线路 ， 使 得 所 有 互联 运营 商 的 用 户 访问 都 很 快 ， 这 个 是 双 IP 双 线路 无 法 比拟 的 。 


1. 硬 件 防火 墙 (可 选 ) 


硬件 防火 墙 的 模式 可 以 选择 路 由 和 透明 两 种 ， 可 根据 具体 环境 而 定 。 防 火 墙 的 型 号 一 般 选 择 用 华 赛 或 Juniper， 大 家 可 以 根据 自己 业务 网 站 的 实际 需求 来 加 以 选择 ， 硬 件 防火 墙 的 主要 作用 是 用 来 防止 
DDoS 攻击 和 端口 映射 。 当 然 了 ， 因 为 现在 网 站 基本 上 都 会 有 CDN 服 务 ， 是 否 增加 硬件 防火 墙 是 可 以 考虑 的 。 


如 果 我 们 的 网 站 是 用 于 电子 商务 支付 系统 的 ， 建 议 在 前 端 放置 硬件 防火 墙 ， 国 内 的 DDoS 攻击 是 非常 流行 的 ， 对 付 DDos 是 一 个 复杂 而 且 庞 大 的 系统 工程 ， 想 仅仅 依靠 某 种 系统 或 产品 来 防 住 DDoS 是 不 
现实 的 。 可 以 肯定 的 是 ， 目 前 完全 杜绝 DDoS 是 不 可 能 的 ， 但 通过 适当 的 措施 抵御 90% 的 DDoS 攻击 是 可 以 做 到 的 ， 基 于 攻击 和 防御 都 有 成 本 开销 的 缘故 。 若 通过 适当 的 办 法 增强 了 抵御 DDoS 的 能 力 ， 也 就 
意味 着 加 大 了 攻击 者 的 攻击 成 本 ， 那 么 绝 大 多 数 攻击 者 将 因 无 法 继续 下 去 而 放弃 ， 也 就 相当 于 成 功 地 抵御 了 DDoS 攻击 。 


2.Z 前 端 CDN 缓 存 


对 于 图 片 量 较 多 的 电子 商务 网 站 和 新 闻 资 讯 类 网 站 来 说， 前 端 CDN 缓 存 的 意义 重大 : 可 加 快 用 户 访问 本 地 网 站 的 速度 ， 从 而 提升 用 户 体验 。 但 应 该 使 用 哪 种 CDN 系 统 呢 ? 这 里 也 面临 着 两 种 选择 : 自行 
搭建 CDN 系 统 或 租赁 别人 的 CDN。 个 人 觉得 自行 搭建 CDN 系 统 是 一 件 非常 消耗 财力 和 人 力 的 事情 ， 而 且 达 不 到 预期 目标 ， 如 果 需 要 前 端 缓存 ， 建 议 以 租赁 CDN 为 主 ， 把 更 多 的 资金 流 投入 到 后 端的 文件 存 
储 和 NoSQL 缓 存 服务 及 数据 库 上 面 去 。 


3. 负 载 均衡 器 


负载 均衡 器 根据 它们 的 特点 来 挑选 即 可 ，LVS 的 性 能 是 最 好 的 ， 特 别 是 后 端的 节点 超过 10 个 以 上 时 ， 但 它 对 网 络 的 要 求 很 高 ， 而 且 不 支持 动静 分 离 ， 所 以 建议 暂时 将 其 作为 数据 库 的 负载 均衡 。 
HAProxy 性 能 优异 ， 稳 定性 强 ， 自 带 强 大 的 监控 页 面 ， 并 且 支 持 动静 分 离 ， 我 们 已 用 HAProxy+Keepalived 实 现 了 亿 级 /日 的 网 站 ， 在 高 并 发 的 业务 时 间 段 ， 单 HAProxy 也 是 非常 稳定 ， 没 有 发 生 过 宕 机 的 情 
况 。 


在 大 公司 的 网 站 架构 里 ， 多 级 负载 均衡 也 是 很 好 的 设计 方案 ， 最 外 面 流量 的 负载 均衡 可 用 硬件 负载 均衡 器 (例如 F5/NetScaler， 这 个 是 负责 对 流量 进行 转发 作用 的 ) ， 以 Nginx 或 HAProxy 作 为 二 层 负 
载 均衡 根据 频道 或 业务 来 分 流 。 现 在 很 多 读者 参考 淘宝 的 架构 ， 说 网 站 最 前 端 一 定 要 放 四 层 负 载 均衡 ， 这 个 其 实 是 针对 淘宝 这 种 巨 量 访问 级 别 (十 几 亿 PV/ 日 ) 网 站 的 ， 如 果 是 干 万 级 PV/ 日 的 网 站 ， 甚 至 是 
亿 级 PV/ 日 的 网 站 ， 用 HAProxy/Nginx+Keepalived 基 本 就 可 以 满足 需求 了 。 另 外 有 个 情况 跟 大 家 说 明 下 ， 通 过 观察 线 上 高 流量 网 站 的 HAProxy 负 载 情况 ,会 发 现 HAProxy 在 高 并 发 的 情况 下 还 是 比较 耗费 
CPU 资源 的 ， 建 议 大 家 在 此 架构 中 采用 高 性 能 的 服务 器 ， 建 议 使 用 DELL PowerEdge R710 或 更 高 型 号 的 机 器 。 另 外 ，HAProxy/Nginx 相 对 于 LVS 的 优势 如 下 : 


“ 配置 简单 ， 语 法 通俗 易 懂 。 


“ HAProxy/Nginx 对 网 络 的 依赖 性 小 ， 理 论 上 只 要 ping 得 通 的 网 络 就 可 以 部 署 实施 七 层 负 载 均衡 。 
“ 根据 应 用 配置 URI 路 由 规则 ， 集 中 热点 来 提高 缓存 的 命中 率 。 

“ 根据 URI 路 由 规则 来 进行 动静 分 离 。 
4.Web 缓 存 层 


Web 缓 存 层 的 搭建 可 以 使 用 Squid 或 Varnish。 笔 者 在 公司 的 不 少 项 目 中 都 应 用 过 Squid 服 务 器 ， 它 作为 老牌 的 反 向 代理 服务 器 ， 在 生产 环境 下 的 稳定 性 是 有 保证 的 。 但 Squid 对 多 核 CPU 支 持 得 不 好 ， 
大 家 可 以 尝试 下 新 兴 的 Varnish， 它 在 稳定 性 和 性 能 上 不 亚 于 Squid， 而 且 对 多 核 CPU 支 持 得 也 很 好 ， 性 能 要 优异 于 Squid。 


有 的 朋友 可 能 会 疑惑 ， 为 什么 前 端 已 经 有 了 CDN 缓 存 ， 这 里 还 需要 自己 再 架设 一 层 Web 缓 层 呢 ? 如 果 做 过 高 并 发 高 流量 项 目的 朋友 应 该 会 发 现 ， 后 端 NFS 文 件 服务 器 的 |/O 压 力 是 巨大 的 ， 有 时 甚至 会 


发 生 拒绝 提供 服务 的 现象 ， 有 了 这 层 Web 缓 存 ， 可 以 起 到 加 速 后 端 Web 服 务 及 降低 NFS (或 本 地 存储 ) 文件 服务 器 磁盘 MO 压 力 的 作用 。 


5.Web 服 务 器 及 Servlet 容 器 


关于 Web 服 务 器 的 选择 ，Apache 作 为 Web 的 传统 服务 器 ， 应 


如 果 是 每 天 访问 量 干 万 PV 级 别 的 网 站 ， 在 业务 高 峰 期 间 PV 有 可 能 这 
站 中 ， 表 现 优异 。 我 们 利用 Nginx 配 合 Jetty， 单 机 能 够 承受 两 万 左右 的 并 发 连接 。 一 些 Web 聊 天 应 上 


于 电子 商务 、 电 子 广告 、 页 游 网 
都 是 由 最 原先 的 一 台 Apache Web 服 务 器 发 展 起 来 的 (公司 高 层 要 求 平滑 不 中 断 业务 升级 ) 。 如 果 是 访问 量 比较 大 的 网 站 ， 建 议 F 


Java 语 言 作为 


其 网 站 核心 


非常 适合 上 


Jetty 做 服务 器 ， 像 淘宝 的 Web 旺 旺 就 是 


与 Tomcat 的 比较 可 以 参考 文章 : https://www.ibm.com/developerworks/cn/java/j-lo-jetty/。 


6 .文件 服务 器 层 


经 过 后 期 的 宣传 策划 ， 网 站 的 客户 越 来 越 多 ， 原 先 的 DRBD+ Heartbeat+NFS 高 可 


在 在 国内 也 是 很 流行 的 趋势 。 


针对 文件 服务 器 进行 NFS 分 组 ， 这 样 从 业务 层面 来 就 会 更 进一步 减 小 NFS 的 压 


虽然 分 布 式 文件 存储 对 于 减轻 文件 服务 器 压力 方面 有 所 缓 减 ， 但 它们 占 


机 器 的 数量 还 是 比较 多 的 ， 维 护 起 来 比较 复杂 ; 而 和 


“ 现在 再 说 下 图 片 服务 器 的 问题 ， 建 议 大 家 采用 独立 域名 而 非 二 级 域名 的 方式 ， 原 因 如 下 : 


“主要 是 为 了 避免 传输 不 必要 的 Cookie， 从 而 提升 速度 而 且 减 少 不 必 要 的 攻击 ， 因 为 跨 域 是 不 会 传输 Cookie 的 。 


“ 多 个 域名 可 以 增加 浏览 器 并 行 下 载 的 条 数 ， 因 为 浏览 器 对 同一 个 域 的 域名 下 载 条 数 是 有 限制 的 。 


7.Session 


Session 数 据 默认 是 在 各 个 服务 器 上 分 别 存放 的 ， 这 样 的 话 ， 客 户 端 在 某 一 次 请 求 过 后 ， 很 有 可 
Memcached 或 redis 服 务 器 来 存储 整个 网 站 的 session 数据 ， 然 后 解决 各 个 服务 器 中 Session 不 同步 的 问 


这 里 不 推荐 将 Session 放 进 MySQL 的 做 法 ， 在 高 流量 的 网 站 中 ， 数 据 库 的 压力 是 非常 大 的 ， 不 应 该 再 让 Session 的 问题 来 增加 数据 库 方 


制 的 原理 是 通过 组 播 的 方式 进行 集群 间 的 Session 共 享 ， 比 如 我 们 常 F 
机 器 上 的 Session 变 更 后 会 将 变更 的 数据 以 组 播 的 形式 分 发 给 集群 间 


运 维 架构 师 可 以 根据 网 站 的 实际 情况 来 选择 是 否 采用 这 种 做 法 。 


8 数据 库 的 压力 


最 后 再 说 下 数据 库 方面 的 压力 ， 这 个 环节 经 常 是 整个 网 站 的 性 能 瓶颈 所 在 ， 所 以 我 们 要 在 这 上 


么 办 呢 ? 


首先 是 增加 数据 库 缓 存 ，redis、Memcached 等 NoSQL 数据库 作为 数 


文件 服务 器 的 磁盘 MO 压力 也 越 来 越 大 ， 这 个 时 候 就 应 该 考虑 采 有 


和 bl 人 
Be 


站 都 是 非常 稳定 的 ， 在 8GB 内 存 的 标准 配置 下 ， 抗 并 发 能 力也 是 非常 不 错 的 。 许 多 公司 的 网 站 架构 其 
Nginx 作 为 Web 服 务 器 。 


寻 


Servlet 容 器 ， 可 以 考虑 Tomcat 和 Jetty， 尤 其 是 Jetty， 在 我 们 的 微 信 营销 网 
Jetty 作 为 Servlet 容 器 的 。Jetty 的 详细 工作 原理 及 


分 布 式 文件 存储 方案 了 ，MooseFS 或 GlusterFS 现 


将 请 求 发 送 到 集群 中 的 另外 一 台 机 器 上 ， 这 样 就 会 导致 Session 的 丢失 。 所 以 这 里 采 
题 。 


和 NFS 维护 起 来 非常 容易 ， 事 实 上 在 有 前 端 CDN 和 缓存 层 的 前 提 下 ， 还 可 以 


的 压力 了 。 另 外 ， 也 不 推荐 采 


备 这 样 的 功能 。 


面 投入 足够 多 的 精力 。 网 站 上 线 以 


来 提升 网 站 性 能 ， 但 也 有 一 个 浆 端 : 如 果 需 要 Cache 的 数据 对 象 非常 多 的 时 候 ， 应 


协同 工作 了 。 


1) 数据 库 架 构 可 以 采用 一 主 多 从 ， 读 写 分 离 的 方案 ， 用 LVS+Keepalived 作 为 从 数据 库 的 负载 均衡 器 ， 通 过 程序 实现 读 写 分 


就 算 查询 的 业务 量 再 大 的 话 也 不 会 影响 主要 业务 逻辑 。 


2) 对 网 站 的 业务 数据 库 进 行 分 库 ， 后 面 的 业务 是 一 组 数据 库 ， 如 Web、BBS、Blog 等 ， 对 3 


综 上 所 述 ， 设 计 这 种 高 流量 高 并 发 的 网 站 系统 架构 ， 应 该 尽量 做 到 以 下 几 点 


“ 尽量 把 用 户 往 外 面 推 ， 保 证 源 站 的 压力 小 。 


“ 在 网 站 测试 阶段 尽量 做 好 压力 测试 的 工作 。 


: 保证 网 站 的 高 可 用 。 


“ 保证 网 站 的 高 可 扩展 性 。 


“ 多 利用 NoSQL 来 减轻 后 端 数 据 库 的 压力 。 


“ 合理 优化 数据 库 。 


做 到 了 以 上 几 点 ， 我 们 的 网 站 应 该 能 够 承受 更 大 流量 和 并 发 量 的 冲击 。 


8.4 亿 级 PV 高 性 能 高 并 发 网 站 架构 设计 


的 DSP 大 型 电子 广告 系统 来 举例 说 明 ，6 个 数据 中 心 ， 每 天 


居 库 缓存 都 非常 理想 ， 他 们 在 减轻 数 H 


面 好 得 多 ， 比 如 IP List 业 务 数据 ， 一 次 导入 量 动 辆 十 几 亿 条 ， 放 在 redis 里 面 的 读 取 速 度 要 远 远 优 ] 


程序 要 增加 的 代码 量 就 会 很 多 ， 同 时 网 站 复杂 度 及 维护 成 本 也 在 


事实 上 ， 如 果 我 们 的 网 站 每 天 能 达到 亿 级 PV 甚至 10 亿 级 PV 的 访问 量 ， 那 么 这 个 数字 是 一 个 相当 惊人 的 数字 ， 这 么 大 流量 的 进 
代码 、 数 据 库 、 缓 存 乃至 文件 系统 都 是 有 要 求 的 。 对 于 一 个 高 并 发 高 流量 的 网 站 来 说 ， 任 何 一 个 环节 的 瓶颈 都 会 造成 网 站 性 能 的 下 
PV 接近 10 亿 ,平均 3 万 QPS， 业 务 机 器 单机 并 发 连接 数 2.2 万 以 上 。 


FMySQL， 同 时 也 会 大 大 减轻 MySQl 数 据 库 的 压力 。 在 这 里 大 家 需要 注意 一 个 情况 ， 虽 然 我 们 可 以 


一 台独 立 的 


Session 复 制 的 方式 ，Session 复 
身 支 持 ， 配 置 简单 ， 这 种 处 理 Session 的 方式 只 适合 小 中 型 网 站 。 缺 点 是 当 一 台 
的 所 有 节点 ， 对 网 络 和 所 有 的 Web 容 器 都 是 存在 开销 的 ， 集 群 越 大 浪费 越 严重 。 


于 ， 如 果 数 据 库 的 读 写 压力 巨大 ， 磁 盘 /O 负 载 越 来 越 高 ， 这 时 候 应 该 怎 


实 上 ， 像 很 多 业务 数据 ， 放 在 redis 的 效果 要 比 放 在 MySQL 里 


redis 


要 业务 数据 库 进行 数据 的 水 平 切 分 或 垂直 切 分 也 是 非常 有 必要 的 。 


出 量 ， 对 系统 整体 水 平 的 要 求 都 是 很 高 的 ， 不 仅仅 是 服务 器 


线 上 升 ， 这 个 时 候 开 发 部 门 和 系统 部 门 的 同事 人 


] 就 要 


后 台 业 务 罗 辑 分 离 ， 针 对 后 台 的 查询 我 们 全 部 转 到 Slave 机 器 上 ， 这 样 


层面 的 压力 ， 
户 的 体验 ， 从 而 造成 无 法 弥补 的 损失 。 下 面 就 以 目前 正在 维护 


考虑 到 业务 涉及 世界 各 地 ，6 个 数据 中 心 需要 进行 全 球 化 部 署 ， 业 务 高 峰 期 间 能 够 快速 增添 机 器 以 应 付 暴 增 流量 ， 并 且 业 务 需要 进行 Hadoop/Spark 分 析 数 据 ， 还 要 考虑 稳定 的 存储 文件 系统 等 ， 而 这 些 


AWs 都 有 相对 应 的 产品 ， 可 以 极 大 地 简化 运 维 成 本 。 


1. 负 载 均衡 层 


此 最 终 考虑 采 


实际 上 ， 网 站 面 对 这 么 大 的 流量 冲击 ， 我 们 的 第 一 
到 了 分 布 式 的 思想 ， 这 样 做 就 会 不 至 于 让 其 中 的 一 个 数据 中 心 因为 顶 不 住 流量 而 出 现 宕 机 的 情况 ， 这 里 我 们 


时 间 内 所 处 理 流量 


系统 响应 时 间 是 我 们 非常 关注 生 
三 方 技术 在 数 以 百 万 计 的 网 站 或 移动 端 ， 


会 失去 竞争 优势 。 


中 间 层 的 负载 均衡 器 采取 的 
自己 开发 了 监控 工具 来 进行 监控 。 


我 们 选 


Nginx 作 为 其 中 间 


应 应 该 就 是 采 


一 级 分 流 的 方式 ， 一 般 来 说 ，DNS 轮 询 是 一 种 常 


的 做 法 ， 我 们 可 以 利 
的 是 PowerDNS。 


DNS 轮 询 将 流量 第 一 时 间 分 散 到 各 个 数据 中 心 ， 这 里 其 实 


在 这 种 流量 规模 的 系统 中 ， 还 应 该 关注 另外 两 个 参数 QPS 及 系统 响应 时 间 ，QPS 即 Queries Per Second， 意 思 是 “每 秒 查询 率 ”， 是 系统 每 秒 能 够 响应 的 查询 次 数 ， 是 对 一 个 特定 的 查询 服务 器 在 规定 
少 的 衡量 标准 。 之 所 以 应 该 关心 这 个 数值 ， 是 


看 视 的 另 一 个 方面 。 由 于 我 们 的 DSP 广 告 主 服务 平台 会 参与 RTB (Real Time Bidding) 实时 竞价 ， 所 以 整个 响应 时 间 越 短 ， 效 果 会 越 好 。RTB 实 时 竞价 ， 是 一 种 利 


为 它 是 系统 整体 性 能 的 重要 参考 标准 。 


EE 


针对 每 一 个 


户 的 展示 行为 进行 评估 及 出 价 的 竞价 技术 。 所 以 从 参与 RTB 实 时 竞价 开始 到 完成 ， 整 个 过 程 应 尽量 控制 在 500~600ms 之 间 ， 如 果 此 响应 时 间 过 大 ， 则 


也 是 常见 架构 的 做 法 ， 


“七 层 负 载 均衡 ， 实 现 各 种 规则 转发 。 


“ 管理 业务 接口 。 


的 是 Nginx。 因 为 是 AWS EC2 机 器 ， 每 台 机 器 能 够 分 配 的 带宽 有 限 ， 机 器 很 容易 被 流量 打 满 。 所 以 我 们 除了 采用 常规 的 


层 的 负载 均衡 ， 作 遍 


源 软件 监控 流量 以 外 ， 还 


“ 灰 度 发 布 。 我 们 可 以 利用 Nginx 的 权重 算法 ， 将 流量 分 散 到 线 上 的 菜 台 测试 机 器 上 ， 如 果 代 码 不 能 顺利 通过 ， 也 只 会 影响 到 这 一 台 测试 机 器 。 


“ 反 向 代理 静态 页 面 缓 存 ， 加 快 用 户 访问 速度 。 


监控 Nginx 的 系统 负载 及 CPU 利 用 率 情 况 。 


“ 监控 其 带宽 总 体 使 用 情况 。 


“ 后 端 bidder 机 器 的 响应 时 间 。 


基于 系统 响应 时 间 的 考虑 ,平台 


2.Web 应 用 服务 器 


我 们 的 主要 业务 机 器 是 bidder 机 器 ， 用 了 


ngx_lua 是 Nginx 的 一 个 模块 ， 将 Lua 钳 入 到 Nginx 中 ， 从 而 可 以 使 
Lua 语 言 开发 高 性 能 的 Web 应 用 了 。 


以 使 


ngx_lua 提 供 了 与 Nginx 交 互 的 很 多 AP1， 对 了 


标价 格 。 bidder 机 器 这 块 选 


于 ， 基 本 上 可 以 分 流 到 各 数据 中 心 上 面 ， 但 有 一 点 要 注意 ，Nginx 作 为 二 级 负载 均衡 的 压力 很 大 ， 平 时 要 注意 以 下 两 种 情况 。 


后 期 直接 删除 Nginx 负 载 均衡 层 ， 最 前 端的 DNS 轮 询 直接 连接 后 端的 bidder 机 器 ，bidder 机 器 的 响应 时 间 在 50ms 左 右 。 


的 是 Nginx+Lua (ngx_lua 模 块 ) ， 那 么 什么 是 ngx_lua 模 块 呢 ? 


Lua 来 编写 脚本 ， 这 样 就 可 以 使 有 


Lua 编 写 应 用 脚本 ， 然 后 部 署 到 Nginx 中 运行 ， 


即 Nginx 变 成 了 一 个 Web 容 器 ; 这 样 开发 人 员 就 可 


发 人 员 来 说 只 需 


学 习 这 些 API 就 可 以 进行 功能 开发 了 ， 而 对 于 开发 Web 应 用 来 说 ， 如 果 接触 过 Servlet 的 话 ， 其 开发 和 Servlet 类 似 ， 无 外 平 就 是 知道 接 


收 请 求 、 参 数 解析 、 功 能 处 理 、 返 回响 应 这 几 步 的 APl 是 什么 样子 。 


理论 上 可 以 使 
有 以 下 几 种 。 


ngx_lua 开 发 各 种 复杂 的 Web 应 


， 不 过 Lua 是 一 种 脚本 /动态 语言 ， 


不 适合 业务 逻辑 比较 重 的 场景 ， 适 合 小 巧 的 应 


场景 ， 代 码 行 数 保持 在 几 十 行 到 几 干 行 。 


前 见 到 的 一 些 应 


场景 


"Web 应 用 : 会 进行 一 些 业 务 逻 辑 处 理 ， 甚 至 进行 耗 CPU 的 模板 泻 染 ， 一 般 流 程 为 MySQL/redis/HTTP 获 取 数 据 一 业务 处 理 一 产生 JSON/XMIL/ 模 板 泻 染 内 容 ， 比 如 京东 的 列表 页 或 商品 详情 页 。 


“ 接 入 网 关 : 实现 如 数据 校 验 前 置 、 缓 存 前 置 、 数 据 过 滤 、API 请 求 聚 合 、AB 测 试 、 灰 度 发 布 、 降 级 、 监 控 等 功能 。 


.Web 防火 墙 : 可 以 进行 IP/URL/UserAgent/Referer 黑 名 单 、 限 流 等 功能 。 


“ 缓存 服务 器 : 可 以 对 响应 内 容 进行 缓存 ， 减 少 到 后 端的 请 求 ， 从 而 提升 性 能 。 


“ 其 他 : 如 静态 资源 服务 器 、 消 息 推送 服务 、 缩 略 区 


线 上 系统 主 
的 网 络 性 能 和 I/O 性 能 ， 


AWS 的 c3.xlarge (4vCPU、14GB) 来 运行 Nginx+Lua， 在 线 上 运行 时 ， 若 并 发 连接 数 超过 2.4 万 ， 则 带宽 基本 就 会 被 打 满 (虽然 AWS 没 有 带宽 限制 ， 但 是 由 于 多 虚拟 机 共享 了 物理 机 
因此 导致 c3.xlarge 的 带宽 限制 大 约 在 40MB~50MB 之 间 ) ，CPU 利 有 


率 在 90% 左 右 ， 系 统 负载 不 到 4。 


为 了 处 理 业 务 高 峰 期 的 流量 ， 一 般 会 增添 10 台 左右 bjidder 机 器 ，AWS 的 AMI1 (映像 复制 ) 功能 非常 方便 ， 而 且 Instance 可 以 按照 小 时 收费 ， 这 样 也 可 极 大 地 降低 运营 成 本 。 


我 们 的 网 站 前 台 主 要 是 针对 客户 的 ， 跟 常见 的 CMS 系统 类 似 ， 开 发 语言 主要 是 PHP，Web 框 架 选用 的 轻 量 级 C| (Code lgniter) 。Hadoop/Spark 数 据 分 析 这 块 则 主要 是 Java 和 Python。 由 于 整个 系 


统 涉及 的 开发 语言 比较 多 ， 


参考 文档 : 


http://www.tuicool.coryarticles/VjMZF3j 


http://jinnianshilongnian.iteye.com/blog/2258111 


3.Session 


由 于 DSP 广 告 系统 提供 的 是 服务 (bidder 机 器 发 送 的 是 竞价 请 求 ) ， 即 无 状态 的 HTTP 访 问 请 求 ， 并 非 传统 型 的 Web 网 站 ， 所 以 此 系统 并 不 需 


的 问题 ， 建 议 大 家 利 


4 数据 缓存 层 


因此 以 Python 作为 胶水 语言 ， 把 系统 的 各 个 子 模块 都 衔接 了 起 来 。 另 外 ， 运 维 自动 化 的 主要 开发 语言 也 是 Python。 


关心 这 个 问题 ， 而 大 型 网 站 肯定 必须 要 关注 Session 共 享 


redis 缓 存 服务 器 来 解决 此 问题 ， 其 优势 就 是 快 ， 快 速 进行 大 量 Session 数 据 的 存储 和 读 取 ，redis 缓 存 服务 器 完全 可 以 胜任 这 份 工作 。 而 redis 的 主 从 方案 ， 可 以 避免 redis 的 单 点 问题 。 


因为 DSP 系 统 产生 的 大 量 的 ip list、domain、 关 键 词 等 数据 需要 快速 、 有 效 地 读 取 ， 之 前 考虑 将 这 些 数据 放 在 MySQL 数 据 库 上 ， 后 面 发 现存 在 着 速度 问题 ， 而 且 ip list 数 据 量 太 大 ， 每 次 导入 都 是 十 几 
亿 条 ， 这 样 我 们 就 需要 一 个 NoSQL 的 解决 方案 。 在 比 对 测试 了 Memcached 和 redis 的 速度 和 效率 后 ， 最 终 选 择 了 redis。 在 最 终 将 redis 应 
化 ， 主 要 工作 有 如 下 几 个 方面 : 


到 线 上 环境 时 ， 我 们 也 在 软 硬 件 及 数据 结构 方面 对 redis 进 行 了 优 


“ 选用 了 EC2 内 存 型 实例 (3.xlarge 或 r3.2xlarge) 来 运行 redis 机 器 。 


我 们 是 通过 


“ 针对 redis 数 据 结 构 进 行 了 重组 优化 。 


. 将 运行 redis 集 群 机 器 的 数量 提高 到 了 10 台 到 15 台 左右 (每 个 数据 中 心 的 数据 会 不 一 致 )。 


序 来 管理 这 些 redis 机 器 。 


Twemproxy 通 过 引入 一 个 代理 层 ， 可 以 将 其 后 端的 多 台 redis 实 例 进行 统一 管理 与 分 配 ， 使 应 用 程序 只 需要 在 Twemproxy 上 进行 操作 ， 而 不 


前 业务 数据 库 的 核心 表 只 是 单 维度 的 ， 后 期 的 业务 表 可 能 会 向 多 维度 方向 转变 ， 这 样 会 导致 MySQL 的 磁盘 容量 呈现 一 个 暴 增 趋势 ， 所 以 现在 在 考虑 使 


以 上 , 这 个 费 


增长 的 


通过 HashTag 可 以 


管理 


和 连续 备份 来 提高 可 


控制 台中 点 击 几 次 或 调 
性 并 改善 数据 持久 性 ， 从 而 能 从 组 件 或 节点 故障 中 


自动 删除 。 


(1) 支持 失败 节点 
“ 可 以 设置 重新 连接 该 节点 的 时 间 。 

“ 可 以 设置 连接 多 少 次 之 后 删除 该 节点 。 
“ 该 方式 适合 作为 Cache 存 储 。 


(2) 支持 设置 HashTag 


(3) 减少 与 redis 的 直接 连接 数 


“ 保持 与 redis 的 长 连接 。 
“ 可 设置 代理 与 后 人 台 每 个 redis 连 接 的 数目 。 


(4) 自动 分 片 到 后 端 多 个 redis 实 例 上 


自己 设 定 将 两 个 KEY 哈 希 到 同一 个 实例 上 去 。 


“ 多 种 哈 项 算法 : 能 够 使 用 不 同 的 策略 和 哈 希 函数 支持 一 致 性 哈 希 。 


“ 可 以 设置 后 端 实例 的 权重 。 


(5) 避免 单 点 问题 


可 以 平行 部 署 多 个 代理 层 ， 客 户 端 会 


引入 Twemproxy 以 后 ,分布 式 的 redis 集 群 中 出 现 


5.MySQL 数 据 库 和 Amazon Redshift 


由 于 数据 读 取 压 力 全 部 在 redis 集 群 上 再 


自动 选择 可 


， 分 散 到 后 端的 MySQL 上 的 压力 就 非常 小 了 ， 


的 那 一 个 。 


的 许多 问题 都 可 以 解决 。 


自己 开发 的 一 致 性 哈 希 算法 程序 来 统一 管理 redis 机 器 实例 的 ， 便 于 控制 ， 但 也 有 不 少 的 问题 : 比如 支持 失败 节点 


什么 是 Amazon Redshift? 可 参考 官方 资料 文档 : http://aws.amazon.com/cn/redshift/。 


Amazon Redshift 是 一 种 快速 、 强 大 且 完 全 托管 的 PB 级 云 中 数据 仓库 服务 。 客 户 可 以 以 每 小 时 0.25 USD 的 价格 从 小 做 起 ， 无 需 订 立 长 期 合约 或 预付 费 ， 然 
比 大 多 数 其 他 数据 仓库 解决 方案 成 本 的 十 分 之 一 还 要 低 。 传 统 的 数 
自我 管理 相关 的 财务 成 本 也 非常 之 高 。Amazon Redshift 不 仅 大 大 降低 了 数据 仓库 的 成 本 ， 而 且 还 能 轻而易举 地 对 大 量 数据 进行 快速 分 析 。 


基于 SQL 的 常 


Amazon Redshift 利 | 


256 加 密 和 硬件 安全 模块 (HSM) 。 


拥有 大 规模 并 行 处 理 (MPP) 数据 仓库 架构 ， 可 对 SQL 操作 进行 并 行 分 布 处 理 ， 以 利 


Amazon Redshift 有 哪些 优势 呢 ? 


(1) 专 为 数据 仓库 而 优化 


Amazon Redshift 使 


吐 量 ， 同 时 使 


10GigE 


盘 (HDD) 创建 超大 型 数据 仓库 。 通 过 密集 计算 (DC) 节点 ， 可 以 使 
16TB DS2.8XLarge 节 点 的 1 PB 或 更 多 压缩 
群 并 行 复制 到 新 集群 。 在 配置 新 集群 的 同时 ， 可 继续 对 旧 集群 进行 查询 。 


可 开始 ， 并 能 一 路 扩 


(2) 可 扩展 


仅 需 在 AWS 管 理 控制 


展 到 使 


6.Amazon S3 文 件 系统 


我 们 一 般 是 利 


析 汇 总 再 交 由 下 端的 业务 系统 来 处 理 。Amazon S3 


象 存储 。Amazon EMR 对 Hadoop 进 行 了 大 量 的 改进 ， 


客户 端 及 商业 智能 (BI) 工 
一 个 API 即 可 轻松 地 对 Redshift 数 据 仓 库 进 行 扩 | 


Amazon EMR 来 运行 Hadoop/Spark 数 据 ， 业 务 高 峰 其 


因此 对 了 


展 或 缩减 。Amazon Redshift 


各 种 创新 技术 ， 对 于 大 小 在 100GB 到 1PB 或 更 高 的 数据 集 ， 拥 有 很 强 的 查询 能 力 。 它 使 


FMySQL， 我 们 


动 删除 、 程 序 的 单 点 故 


障 等 。 


前 又 在 尝试 使 


Twitter 的 Twemproxy 程 


体 有 多 少 个 


动 修补 数据 仓库 并 将 


居 仓 库 需 要 相当 数量 的 时 间 和 资源 来 进行 管理 ， 尤 其 是 大 型 数据 集 。 


其 备份 ， 并 按照 


所 有 可 


状 网 络 以 最 大 化 节点 之 间 的 吞吐 量 。 


台中 点 击 几 次 或 通过 一 个 简单 的 API 调 用 ， 就 能 在 性 能 或 容量 需要 改变 


高 速 CPU、 大 量 RAM 和 


时 


固 


， 轻 松 地 改变 云 数 
态 硬盘 (SSD) 创建 超 高 性 能 数据 仓库 。 利 


列 式 存储 、 数 据 压缩 及 
的 资源 。 基 础 硬件 均 为 高 性 能 数据 处 理 而 设计 ,使 


的 节点 数 或 节点 类 型 。 通 过 密集 存储 (DS) 节点， 可 以 以 非常 低 的 价格 使 


3 外， 内 


的 是 最 普通 的 MySQL 一 主 一 从 ， 主 要 存放 系统 前 台 的 表 数 据 ， 数 据 量 并 不 大 。 不 过 ， 
Amazon Redshift 数 据 仓库 服务 。 


后 以 1TB 1000 


怖 仓库 中 


一 旦 数据 被 复制 到 新 集群 ，Amazon Redshift: 


间 还 需要 开启 大 量 的 Spot Instance 机 器 来 并 行 处 


有 高 度 持久 性 、 可 扩展 性 、 安 全 性 、 快 速 


因此 我 们 可 以 无 颖 


7.DevOps 


目前 通过 自动 化 运 维 工具 和 平台 组 同 导 


们 的 努力 ， 已 经 完成 的 工作 有 如 下 几 个 方面 : 


Amazon Redshift, 


只 


使 


实 的 redis 实 例 机 器 。 


USD/ 年 的 价格 再 扩展 到 1PB 或 


部 部 署 型 数据 仓库 的 建立 成 本 、 维 护 及 日 益 


， 通 过 标准 的 ODBC 和 JDBC 连 接 ， 提 供 了 对 结构 化 数据 进行 快速 查询 的 功能 。 查 询 为 多 个 物理 资源 之 间 的 分 布 式 并 行 查 询 。 在 AWS 
户 定 义 的 保留 期 存储 备份 。Amazon Redshift 利 用 复制 
自动 恢复 。 此 外 ， 为 了 保护 您 的 中 转 数 据 和 静态 数据 ，Amazon Redshift 支 持 Amazon 虚 拟 私 有 云 (Amazon VPC) 、SSL、AES- 


区 域 映射 ， 降 低 了 执行 查询 所 需 的 MO 数量 。Amazon Redshift 
本 地 附带 的 存储 空间 以 最 大 化 处 理 器 与 驱动 器 之 间 的 吞 


硬 
单个 160GB DC1.Large 节 点 即 


户 数据 。 调 整 大 小 时 ，Amazon Redshift 可 将 现 有 的 集群 置 于 只 读 模式 ， 并 预 配 


自 翅 


将 查询 重新 定 应 


里 数 


居 ， 数 


一 个 你 


个 你 选 定 大 小 的 新 集群 ， 然 后 将 数据 从 旧 集 


至 新 集群 ， 并 移 除 旧 集群 。 


居 分 析 及 访问 的 海量 日 志 均 存放 在 Amazon S3 文 件 系统 上 面 
物美 价 廉 的 存储 服务 。 借 助 EMR 文 件 系统 ，Amazon EMR 可 以 将 Amazon S3 安 全 高 效 地 | 
也 处 理 Amazon S3 中 存储 的 大 量 数 据 。 


进行 分 
作 Hadoop 的 对 


:bidder 业 务 机 器 的 自动 增加 或 删 减 。 


: 分 布 式 爬 虫 程序 的 Spot Instance 自 动 增加 或 删 减 。 


“ tedis 的 一 致 性 哈 希 算法 程序 的 逐步 完善 。 


“ 线 上 机 器 的 公私 钥 批 量 自动 更 换 或 增加 。 


“ 线 上 机 器 的 代码 、 配 置 文件 批量 自动 同步 。 


“ 强大 的 预警 系统 和 报警 系统 。 


片 服 务 做 成 了 CDN 模 式 以 便于 提供 对 外 服务 ， 增 强 用 户 体验 。 


下 一 步 DevOps 要 进行 的 工作 : 增 大 自动 化 配 


Ansible 部 署 和 脚本 。 笔 者 也 尝试 了 市 面 


数量 庞大 ， 大 约 有 3000 多 个 项 


8. 压 力 测试 及 其 他 


a 
EY 


系统 上 线 前 ， 测 试 组 的 同 寻 


管理 工具 Ansible 在 系统 中 的 应 


比重 ， 跟 AWS 


上 所 有 的 自动 化 运 维和 自动 化 配置 工 
别 是 对 于 云 服务 的 支持 。 像 AWS、Docker、OpenStack， 部 署 脚本 都 放 在 一 个 了 
， 相 信 这 个 数字 只 会 越 来 越 多 ， 这 也 意味 着 以 后 的 


“ 系统 整体 的 RPS 情况， 尤其 是 在 业务 的 高 峰 时 期 。 


“ 系统 的 整体 响应 时 间 及 bidder 


“ bidder 机 器 的 并 发 连接 总 数 和 带宽 的 使 用 情况 。 


机 器 和 其 他 业务 机 器 的 响应 时 间 。 


. bidder 机 器 的 负载 、CPU 利 用 率 、 内 存 使 用 情况 。 


.tedis 分 布 式 集群 机 器 的 内 存 使 用 情况 。 
. Scrapy 分 布 式 疏 虫 的 Spot Instance 的 运行 情况 。 


“ElasticSearch 集 群 的 全 文 搜索 的 效率 。 


8.5” 细 分 五 层 解 说 网 站 架构 


、 负载 均衡 


目前 网 站 架构 一 般 分 为 网 页 缓存 
说 服 力 ， 下 面 将 以 笔者 维护 过 并 且 正 在 维护 的 


1. 网 页 缓存 


层 


经 过 同事 们 的 共同 努力 和 研究 ， 我 们 的 业务 平台 已 经 能 承受 更 大 流量 的 冲击 ， 功 能 方 


展 、Web 服 务 器 层 、 文 件 服务 器 层 、 数 据 缓存 层 及 数据 库 层 ， 
较 大 的 生产 环境 来 举例 说 明 。 


首先 说 网 页 缓存 层 ， 比 如 CDN 的 租赁 ， 其 


效果 比 公司 


很 多 朋友 喜欢 尝试 
多 优秀 的 开源 软件 都 能 
所 拥有 的 Web 缓 第 
况 ， 来 决定 究竟 使 


哪 种 软件 来 对 自己 的 网 站 提供 


2. 负 载 均衡 


各 


我 们 熟悉 的 
硬件 相 媲美 ， 并 且 淘 宝 也 在 大 规模 地 推广 使 


自 建 CDN， 这 是 一 个 吃力 不 讨好 的 活 / 
手 任 这 块 工作 ， 比 如 传统 的 Squid。 另 外 ， 后 起 之 秀 Nginx 和 Varnish 
0 速 功能 。 此 外 ，Nginx 对 多 核 CPU 的 利 
反 向 代理 力 


开源 软件 技术 有 LVS/HAProxy， 还 有 Nginx， 它 们 的 | 
HAProxy， 有 兴趣 的 


0 


建议 负载 均衡 分 成 两 级 来 处 理 ， 一 级 是 流量 


己 部 署 Squid/Varnis 


L， 未 必 能 达到 预期 


正 地 结合 起 来 。 选 择 Ansible 主 要 是 


录 下 。 这 就 意味 着 把 别人 写 的 脚本 拿 过 来 ， 或 者 把 别人 写 定义 的 Playbook 拿 过 来 非常 容易 。 


为 拥有 丰富 的 相关 支持 ， 包 括 现 有 的 很 多 组 件 、 模 块 、 开 源 的 
， 发 现 Ansible 是 对 AWS 支 持 得 最 好 的 一 个 。Ansible 的 开发 过 程 是 写 大 量 的 Playbook。 现 在 Ansible 支 持 的 有 251 个 模块 ， 特 


R 多 DevOPps 工 作 会 越 来 越 简单 容易 。 


Load Runner 对 主要 业务 机 器 bidder 进 行 大 量 的 压力 测试 工作 。 系 统 上 线 前 及 上 线 后， 我 们 也 会 密切 关注 以 下 方面 : 


面 也 在 日 趋 完善 。 相 信 到 最 后 ， 我 们 的 业务 平 


人 台 一 定 能 设计 出 最 具 性 价 比 的 方案 。 


一 共 五 层 ， 这 样 在 后 面 的 讨论 过 程 中 ， 就 可 以 依次 


0 速 服务 。 


因 


此 处 可 以 使 用 如 轮 询 、 权 重 等 调度 


1) 第 一 
房 ) 、 限 流 、 防 火 墙 等 一 些 通 


2) 


虹 


3.Web 服 务 器 层 


法 来 实现 负载 的 转发 ;然后 二 


层 负载 均衡 应 该 是 无 状态 的 ， 方 便 水 平 扩容 。 我 们 可 以 在 这 一 
型 功能 ， 无 状态 设计 ， 可 以 水 平 扩 容 。 


二 层 Nginx 负 载 均衡 可 以 实现 业务 逻辑 ， 或 者 反 向 代理 到 如 Tomcat， 这 一 


层 分 发 ， 二 级 是 应 用 层面 七 层 转发 ， 即 业务 
层 负载 均衡 会 根据 请 求 特征 再 将 请 求 分 发 出 去 。 


层 实现 流量 分 组 (内 网 和 外 网 隔离 、 怜 和 


h 更 好 更 专业 ， 毕 竟 Bind View 需 
为 性 能 优异 ， 越 来 越 多 的 朋友 尝试 在 


胜 过 Squid， 现 在 越 来 越 多 的 架构 师 都 喜欢 将 Nginx 同 时 作为 “负载 均衡 服务 器 ”与 “Web 缓 存 服务 器 ”来 使 用 ， 大 家 可 以 根据 自己 网 


性 能 都 是 非常 优异 的 。HAProxy 可 能 大 家 不 是 特别 熟悉 ， 但 HAProxy 在 4 
朋友 可 以 关注 一 下 。 


这 五 层 对 网 站 架构 进行 讨论 。 为 了 更 具 


现在 关于 Ansible 的 开源 脚本 


精准 细 分 ， 而 且 价 格 相当 低廉 ， 所 履 盖 的 


这 块 运 维 架 构 师 在 网 站 架设 初期 就 应 该 规划 好 ， 不 要 等 到 网 站 流量 及 压力 巨大 时 才 去 规划 。 事 实 上 ， 这 一 


城市 也 更 多 ， 故 而 推荐 采 


CDN 租 赁 的 方式 。 


层 有 很 


己 的 网 站 使 用 它们 作为 的 网 页 缓存 。 


己 


此 处 为 什么 要 将 负载 均衡 分 为 两 层 呢 ? 


实 上 ，Nginx 已 经 具备 Squid 


站 的 情 


E 产 环境 下 确实 表现 优异 ， 拥 有 强大 的 吞吐 能 力 ， 稳 定性 也 能 与 


层面 。 首 先 可 以 通过 LVS 或 HAProxy 将 流量 转发 给 二 层 负载 均衡 (一般 为 Nginx) ， 即 实现 了 流量 的 负载 均衡 ， 


ER 和 非 候 虫 


流量 隔离 ) 、 内 容 缓存 、 请 求 头 过 滤 、 故 障 切 换 (机 


层 的 Nginx 跟 业务 有 关联 ， 可 实现 业务 的 一 些 通 用 逻辑 。 这 一 


Web 层 压力 比较 大 的 网 站 现在 都 将 Web 主 要 应 


向 ) 扩展 。 就 算 
大 ， 所 以 网 站 的 


压力 在 这 一 


4: 文 件 服务 器 


Bl 


现在 大 家 的 生产 服务 器 一 般 是 使 用 下 面 的 方案 : 


1) 单 NFS 作 为 文件 服务 器 ， 这 样 


服务 器 换 成 了 Nginx， 


站 的 并 发 连接 数 有 10 万 以 上 ， 也 无 非 是 多 加 几 台 Web 机 器 ( 
层 也 能 通过 技术 手段 加 以 克服 。 


的 好 处 是 维护 方便 ， 但 存在 着 单 点 故障 的 问题 ， 


实 上 ， 它 在 抗 并 发 能 力 和 稳定 性 方 


H 


确实 超过 了 预期 。 另 外 ，Linux 集 群 有 一 个 优势 ， 就 是 它 的 高 扩 


NFS 机 器 出 现 故 障 时 需要 人 为 手动 干 


T 
济 


发 生 故 障 后 切换 到 其 他 机 


层 如 果 可 能 的 话 ， 也 要 尽量 设计 成 无 状态 设计 ， 方 便 水 平 扩 


展 性 ， 特 别 是 水 平 ( 横 


廉价 的 PC 服务 器 也 是 可 行 的 ) 。 在 实际 的 线 上 维护 时 笔者 发 现 ， 即 使 是 在 高 峰 期 间 ， 实 际 上 每 台 Web 的 并 发 并 不 算是 特别 


2) NFS 分 组 ， 


虽然 这 样 可 以 分 推 压力 ， 但 一 样 也 存在 着 单 点 故障 的 问题 ， 出 现 故障 时 需要 人 为 手动 干预 。 


3) DRBD+Heartbeat+NFS 高 可 用 文件 服务 器 ， 维 护 方便 ， 也 不 存在 着 单 点 故障 的 问题 ， 但 随 着 访问 量 的 增 大 ， 后 期 一 样 存在 着 压力 过 大 的 问题 。 


4) 采用 分 布 式 文件 系统 。 


文件 服务 器 磁盘 VO 压 力 过 大 ， 这 也 是 一 个 常见 的 问题 ， 我 们 在 维护 自己 的 网 站 时 ， 通 常 采 取 的 做 法 有 以 下 几 点 。 


“ 对 于 静态 内 容 ， 如 CSS、JS、HTML 还 有 图 片 文件 ， 可 以 通过 租赁 CDN 的 方式 来 处 理 。 


: 将 图 片 服务 器 独立 出 来 ， 并 分 配 独立 域名 。 


“ 磁盘 的 优化 : 将 程序 的 读 写 缓存 区 设置 得 尽 可 能 大 一 些 。 这 样 做 的 好 处 是 : 程序 不 是 每 次 调用 都 直接 写 磁盘 ， 而 是 先 缓存 到 内 存 中 ， 等 缓存 区 满 了 再 写 入 磁盘 。 


' 在 适当 的 场景 采用 分 布 式 文件 系统 ， 例 如 MooseFS。MooseFS 易 用 、 稳 定 ， 对 海量 小 文件 尤其 高 效 ， 而 且 新 版 的 MooseFS 解 决 了 Master Servetr 存 在 的 单 点 故障 的 问题 ， 文 档 和 社区 也 非常 成 熟 ， 国 内 越 来 
越 多 的 公司 都 在 使 用 MFS。 事 实 上 ， 分 布 式 文件 系统 是 解决 文件 服务 器 压力 过 大 的 最 终 途 径 。 但 是 凡事 总 是 有 利 有 准 ， 越 是 功能 强大 的 东西 越 是 复杂 。 随 着 网 站 功能 的 增多 ,摊子 越 大 ， 机 器 越 多 ， 维 护 起 
来 就 会 越 复杂 ， 这 样 会 极 大 地 增加 运 维 人 员 的 工作 难度 。 


大 家 可 以 尝试 根据 自己 网 站 的 情况 ， 来 决定 究竟 选择 哪 一 种 开源 软件 作为 自己 的 文件 服务 器 。 


5 .数据 缓存 层 和 数据 库 层 


网 站 的 PV、UV 及 QPS 和 并 发 连接 数 增加 以 后 ， 数 据 库 这 块 的 压力 是 最 大 的 ， 数 据 库 的 压力 归根 结 底 还 是 磁盘 的 /O 压 力 。 


Oracle RAC 是 很 成 熟 的 商业 分 布 式 方案 ， 它 保证 了 数据 的 高 可 用 性 ， 当 然 了 价格 也 是 非常 昂贵 的 (如 果 使 用 了 高 配置 的 PC 服务 器 。Oracle 一 般 按照 CPU 的 个 数 来 收费 ) ; 那么 如 果 使 用 免费 的 开源 方 
案 ， 例 如 MySQl 数 据 库 ， 面 对 这 种 数据 库 磁盘 MO 压力 大 的 情况 ， 应 该 如 何 处 理 呢 ? 


首先 在 业务 逻辑 上 将 数据 进行 分 离 。 很 多 读 写 频繁 的 业务 数据 ， 比 如 ip list 和 domain 等 信息 都 没有 必要 用 MySQl 数 据 库 来 保存 ， 我 们 利用 redis 分 布 式 缓存 来 保存 这 些 数据 ， 这 样 读 取 速度 也 能 得 到 保 


证 ,后 端 MySQL 数 据 库 的 


压力 也 可 以 得 到 缓 减 。 


其 次 ， 数 据 库 的 硬件 方面 可 以 考虑 投入 磁盘 阵列 做 成 RAID 10， 如 果 资 金 充 裕 ， 磁 盘 可 以 用 SSD 固 态 硬盘 来 代替 SAS 机 械 硬 盘 。 


必须 要 合理 地 设计 MySQL 数 据 库 的 架构 ， 事 实 上 ， 在 生产 环境 下 ， 一 主 多 从 、 读 写 分 离 是 比较 靠 谱 的 设计 方案 ， 对 于 MySQL 的 负载 均衡 ， 这 里 推荐 大 家 使 用 LVS/DR， 这 是 因为 从 机 MySQL 节 点 机 器 
超过 10 台 时 ，HAProxy 的 性 能 将 不 如 LVS/DR。 


如 果 网 站 的 业务 量 过 大 ， 还 可 以 采用 分 库 的 方法 ， 比 如 将 网 站 的 业务 量 分 成 Web、Blog、Mall 等 几 组 ， 每 一 组 均 采用 主 从 架构 ， 这 样 设计 的 话 就 避免 了 单 组 数据 库 压力 过 大 的 情况 。 


最 后 ， 还 应 该 配合 公司 的 MySQL DBA， 在 数据 库 参 数 优化 、SQL 语 句 优化 、 数 据 切 分 上 多 做 功夫 ， 避 免 让 MySQL 数 据 库 成 为 网 站 的 瓶颈 。 必 要 的 时 候 ， 考 虑 分 布 式 SQL 解 决 方案 ,例如 Redshift 及 


Hbase 等 。 


希望 大 家 能 够 通过 以 上 对 网 站 的 五 层 分 解 ， 结 合 自己 网 站 的 情况 ， 了 解 每 一 层 在 网 站 设计 中 的 作用 和 重要 性 ， 找 出 网 站 瓶颈 加 以 优化 ， 将 自己 的 网 站 打造 成 高 可 用 高 可 扩展 性 的 网 站 。 


8.6 小 结 


本 章 以 笔者 维护 过 的 百 万 级 、 千 万 级 、 亿 级 PV 高 可 用 高 流量 网 站 架构 为 例 来 说 明 网 站 的 系统 架构 设计 ， 并 且 细 分 为 五 层 来 解说 网 站 的 架构 设计 。 在 实际 的 工作 中 ， 系 统 架构 设计 绝对 不 是 一 项 轻松 的 工 
作 ， 如 果 大 家 能 从 这 些 案 例 中 学 习 到 对 自己 有 帮助 的 技能 点 ， 提 升 自己 的 专业 水 平 ， 优 化 自己 的 网 站 ， 提 升 用 户 的 体验 ， 那 么 笔者 将 甚 感 欣慰 。 


附录 A ”HAProxy 1.4 的 配置 文档 


下 面 是 HAProxy 1.4 的 一 些 常用 配置 ， 这 些 配置 可 实现 HAProxy 的 一 些 常用 功能 。 大 家 在 写 自己 的 HAProxy 配 置 文件 时 ， 可 以 对 比 参 考 下 此 配置 文档 。 


配置 的 具体 实例 如 下 所 示 。 


global 


全 局 的 日 志 配置 ， 其 中 日 志 级 别 是 [err warning info debug]。 


日 志 设 备 必须 为 如 下 24 种 标准 syslog 设 备 中 的 一 种 : 


kern, user, mail、 daemon, auth、 syslog、 lpr、news 
uucp、 cron, auth2、 ftp, ntp、, audit、 alert、 cron2 
local0、1locall、local2、1local3、local4、1local5、local6、1local7 


这 里 推荐 local3， 其 日 志 设 备 格式 如 下 : 


log 127.0.0.1 local3 info #[err warning info debug] 


下 面 为 最 大 连接 数 : 


maxconn 4096 


户 (推荐 


HAProxy 上 


户 ) 


user nobody 


用 户 组 (推荐 用 HAProxy 用 户 组 ) : 


group nobody 


使 HAProxy 进 程 进入 后 台 运行 ， 这 是 推荐 的 运行 模式 : 


daemon 


创建 4 个 进程 进入 deamon 模 式 运行 。 此 参数 要 求 将 运行 模式 设置 为 “daemon” : 


nbproc 4 


将 所 有 进程 的 pid 写 入 文件 ， 启 动 进程 的 用 户 必须 有 访问 此 文件 的 权限 : 


pidfile /home/admin/haproxy/1ogs/haproxy.pid 
defaults 


默认 的 模式 mode， 有 3 个 参数 值 可 选 : {tcplhttplhealth}，tcp 是 4 层 ，http 是 7 层 ，health 只 会 返回 OK， 这 里 大 家 可 以 根据 实际 情况 进行 选择 : 


mode http 


采用 HTTP 日 志 格式 : 


option httplog 


三 次 连接 失败 就 认为 是 服务 器 不 可 用 ， 此 数值 可 以 通过 修改 后 面 的 数字 来 设置 : 


retries 3 


如 果 Cookie 写 入 了 ServerlD 而 客户 端 不 会 刷新 Cookie， 那 么 待 ServerlD 对 应 的 服务 器 挂 掉 后 ， 将 强制 定向 到 其 他 健康 的 服务 器 上 : 


option redispatch 


当 服 务 器 负载 很 高 的 时 候 ， 自 动 结束 掉 当 前 队列 处 理 比较 久 的 链接 : 


option abortonclose 


默认 的 最 大 连接 数 : 


maxconn 4096 


表示 连接 超时 : 


contimeout 5000 


表示 客户 端 超时 : 


clitimeout 30000 


表示 服务 器 超时 : 


srvtimeout 30000 


表示 心跳 检测 超时 : 


timeout check 1000 


注意 
一 些 参数 值 为 时 间 ， 比 如 说 timeout。 时 间 值 通常 的 单位 为 毫秒 (ms) ,但 是 也 可 以 通过 加 # 后 组， 来 使 用 其 他 的 单位 。 


下 面 是 统计 页 面 的 配置 : 


listen admin stats 


监听 端口 : 


bind 0.0.0.0:1080 


http 的 7 层 模 式 : 


mode http 


日 志 设 置 : 


log 127.0.0.1 local0 err #[err warning info debug] 


统计 页 面 自动 刷新 时 间 : 


stats refresh 30s 


统计 页 面 的 URI: 


stats uri /admin stats 


统计 页 面 密码 框 上 的 提示 文本 : 


stats realm Gemini\ Haproxy 


统计 页 面 的 用 户 名 和 密码 设置 : 


stats auth admin:admin101 


隐藏 统计 页 面 上 HAProxy 的 版 本 信息 : 


stats hide-version 


下 面 是 网 站 检测 的 listen 定 义 : 


网 站 健康 检测 URL， 用 来 检测 HAProxy 管 理 的 网 站 是 否 可 


， 它 是 依靠 检查 后 端的 Web 服 务 器 是 否 存 在 index.php 来 判断 后 端 主 机 是 否 挂 掉 的 ， 如 果 后 端的 所 有 Web 机 器 上 均 没 有 index.php 或 都 挂 掉 


那么 我 们 访问 HAProxy 主 机 地 址 时 ,例如 http://192.168.1.103 时 ,浏览 器 就 会 返回 如 下 报错 信息 : 


503 Service Unavailable, No server is available to handle this request 


网 站 检测 的 listen 格 式 为 : 


listen web proxy 192.168.1.103:80 


关于 监听 的 其 他 配置 选项 ，HAProxy 默 认 设置 已 经 做 好 了 ， 建 议 不 要 太 多 人 为 的 干预 。 


下 面 是 frontend 配 置 : 


frontend http 80 in 


监听 端口 : 


bind 0.0.0.0:80 


http 的 7 层 模 式 : 


mode http 


应 用 全 局 的 日 志 配 置 : 


1og global 


启用 http 的 log : 


option httplog 


每 次 请 求 完毕 后 主动 关闭 http 通 道 ，HA Proxy 不 支持 keep-alive 模 式 : 


option httpclose 


如 果 后 端 服务 器 需要 获得 客户 端的 真实 IP 则 需要 配置 此 参数 ， 以 便 从 HTTP Header 中 获得 客户 端 IP: 


option forwardfor 


下 面 是 HAProxy 的 日 志 记录 内 容 配置 : 


capture request header Host len 40 


Capture request header Content-Length len 10 
capture request header Referer len 200 
capture response header Server len 40 
capture response header Content-Length len 10 
Capture response header Cache-Control len 8 


下 面 是 ACL 的 策略 定义 。 


如 果 请 求 的 域名 满足 正则 表达 式 则 返回 true，-i 束 示 忽 略 大 小 写 : 


acl denali Policy hdr reg (host) -i ^ (www.gemini.taobao.net|my.gemini.taobao.net|auctionl .gemini.taobao.net)$ 


如 果 请 求 的 域名 满足 trade.gemini.taobao.net 则 返回 true，-i 球 示 忽 略 大 小 写 : 


acl tm policy hdr dom (host) -i trade.gemini.taobao.net 


如 果 在 请 求 url 中 包含 sip_apiname=， 则 此 控制 策略 返回 true， 否 则 为 false: 


acl invalid req url sub -i sip apiname= 


false: 


回 


如 果 在 请 求 url 中 存在 timetask 作 为 部 分 地 址 路 径 ， 则 此 控制 策略 返回 true， 否 则 返 


acl timetask req url dir -i timetask 


当 请 求 的 header 中 Content-length 等 于 0 时 则 返 


回 


true : 


acl missing cl hdr cnt (Content-length) eq 0 


下 面 是 与 ACL 策 略 匹配 的 相应 配置 。 


当 请 求 的 Header 中 Content-length 等 于 0 时 则 阻止 请 求 ， 返 回 403 错 误 : 


回 


block if missing cl 


block 表 示 阻 止 请 求 ， 返 回 403 错 误 ， 如 果 不 满足 策略 invalid_req， 或 者 满足 策略 timetask_req， 则 阻止 请 求 : 


block if !invalid req || timetask req 


当 满 足 denali_policy 的 策略 时 则 使 用 denali_server 的 backend: 


use backend denali server if denali policy 


当 满 足 tm_policy 的 策略 时 则 使 用 tm_server 的 backend: 


use backend tm server if tm policy 


reqisetbe 关 键 字 定义 ， 根 据 定义 的 关键 字 选 择 backend: 


reqisetbe ^Host:\ img dynamic 
reqisetbe ^[^\ ]*\ /(imglcss)/ dynamic 
reqisetbe ^[^\ ]*\ /admin/stats stats 


以 上 都 不 满足 的 时 候 使 用 默认 mms_server 的 backend: 


default backend mms_server 


HAProxy 的 错误 页 面 设置 如 下 所 示 : 


回 


errorfile 400 /home/admin/haproxy/errorfiles/400.http 
errorfile 403 /home/admin/haproxy/errorfiles/403.http 
errorfile 408 /home/admin/haproxy/errorfiles/408.http 
errorfile 500 /home/admin/haproxy/errorfiles/500.http 
errorfile 502 /home/admin/haproxy/errorfiles/502.http 
errorfile 503 /home/admin/haproxy/errorfiles/503.http 
errorfile 504 /home/admin/haproxy/errorfiles/504.http 


下 面 是 backend 的 设置 : 


backend mms_server 


http 的 7 层 模 式 : 


mode http 


负载 均衡 的 方式 ，roundrobin 平 均 方式 : 


balance roundrobin 


允许 插入 SERVERID 到 Cookie 中 ，SERVERID 在 后 面 可 以 如 下 定义 : 


Cookie SERVERID 


心跳 检测 的 URL，HTTP/1.1 和 Host: XXXX 指 定 了 心跳 检测 HTTP 的 版 本 ，XXX 为 检测 时 请 求 服务 器 的 request 中 的 域名 ， 如 下 所 示 : 


option httpchk GET /member/login.jhtml HTTP/1.1\r\nHost:memberl .gemini .taobao.net 


服务 器 定义 ，cookie 1 表示 SERVERID 为 1，check inter 1500 是 检测 心跳 频率 。rise 3 是 3 次 正确 则 认为 服务 器 可 用 


，fall 3 是 3 次 失败 则 认为 服务 器 不 可 用 


，weight 代 表 权 重 : 


server mmsl 10.1.5.134:80 cookie 1 check inter 1500 rise 3 fall 3 weight 1 
server mms2 10.1.6.118:80 cookie 2 check inter 1500 rise 3 fall 3 weight 2 
backend denali server 

mode http 


负载 均衡 的 方式 ，source 是 根据 客户 端 |P 进 行 哈 希 的 方式 : 


balance source 


如 果 设 置 了 backup， 会 默认 第 一 个 backup 优 先 ， 设 置 option allbackups 后 所 有 备份 服务 器 的 权重 都 是 一 样 的 : 


option allbackups 


心跳 检测 URL 设 置 : 


option httpchk GET /mytaobao/home/my taobao.jhtml HTTP/1.1\r\nHost:my.gemini.taobao.net 


可 以 根据 机 器 性 能 的 不 同 ， 不 使 用 默认 的 连接 数 配置 而 使 用 自己 的 特殊 连接 数 配置 ， 比 如 minconn 10 maxconn 20: 


server denlail 10.1.5.114:80 minconn 4 maxconn 12 check inter 1500 rise 3 fall 3 
server denlai2 10.1.6.104:80 minconn 10 maxconn 20 check inter 1500 rise 3 fall 3 


备份 机 器 的 配置 ， 正 常情 况 下 不 会 使 用 备 机 ， 当 主机 的 全 部 服务 器 都 宕 机 的 时 候 备份 机 才 会 启 


server dnali-backl 10.1.7.114:80 check backup inter 1500 rise 3 fall 3 
server dnali-~back2 10.1.7.114:80 check backup inter 1500 rise 3 fall 3 
backend tm server 

mode http 


负载 均衡 的 方式 ，leastconn 根 据 服务 器 当前 的 请 求 数 ， 取 当前 请 求 数 最 少 的 服务 器 : 


balance leastconn 

option httpchk GET /trade/itemlist/prepayCard.htm HTTP/1.1\r\nHost:trade.gemini .taobao.ne 
server tml 10.1.5.115:80 check inter 1500 rise 3 fall 3 

server tm2 10.1.6.105:80 check inter 1500 rise 3 fall 3 


下 面 是 reqisetbe 自 定义 的 关键 字 匹 配 backend 的 部 分 : 


backend dynamic 

mode http 

balance source 

option httpchk GET /welcome.html HTTP/1.1\r\nHost:www.taobao.net 
server denlail 10.3.5.114:80 check inter 1500 rise 3 fall 3 
server denlai2 10.4.6.104:80 check inter 1500 rise 3 fall 3 
backend stats 

mode http 

balance source 

option httpchk GET /welcome.html HTTP/1.1\r\n Host:www.163.com 
server denlail 10.5.5.114:80 check inter 1500 rise 3 fall 3 
server denlai2 10.6.6.104:80 check inter 1500 rise 3 fall 3 


参考 文档 : 
http://haproxy.org/download/1.4/doc/configuration.txt 


http://haproxy.org/ 


附录 B ”rsync 及 inotify 在 工作 中 的 应 用 


大 家 应 该 很 熟悉 和 了 解 Linux 下 的 rsync 工 具 了 吧 ，rsync (remote synchronize) 是 一 个 远程 数据 同步 工具 ， 可 通过 LAN/WAN 快 速 同 步 多 台 主 机 间 的 文件 。rsync 使 用 rsync 算 法 来 使 本 地 主机 和 远程 


机 之 间 的 文件 达到 同步 ， 这 个 算法 并 不 是 每 次 都 整 份 传送 ， 它 只 传送 两 个 文件 的 不 同 部 分 ， 因 此 速度 相当 快 。 


rsync 的 优点 如 下 : 

“ 可 以 镜像 保存 整个 目录 树 和 文件 系统 。 

“ 可 以 很 容易 做 到 保持 原来 文件 的 权限 、 时 间 、 软 硬 链接 等 。 

“ 无需 特 殊 权 限 即 可 安装 。 

“ 拥有 优化 的 流程 ， 文 件 传输 效率 高 。 

' 可 以 使 用 RSH、SSH 等 方式 来 传输 文件 ， 当 然 也 可 以 直接 通过 Socket 连 接 。 


“ 支持 匿名 传输 。 


另外 ， 与 scp 相 比 ， 它 们 的 传输 速度 不 是 一 个 数量 级 的 。 我 们 在 局 域 网 时 经 常用 rsync 和 scp 传 输 大 量 数据 文件 ， 发 现 rsync 在 速度 上 至 少 比 scp 快 20 倍 以 上 ， 这 得 益 于 rsync 强 大 的 checksum 算 法 。 所 以 
大 家 如 果 需 要 在 Linux 服 务 器 之 间 传 输 大 数据 时 ，rsync 是 最 好 的 选择 。rsync 2.6.8 版 本 中 存在 Bug， 不 过 在 2.6.9 版 本 中 已 解决 。 另 外 ，rsync3.0 版 本 的 算法 相对 于 rsync2.x 的 算法 也 有 所 改善 ，3.0 是 边 对 比 
边 同步 ，2.x 是 完全 对 比 之 后 再 同步 ，3.0 的 效率 肯定 更 高 ， 所 以 这 里 推荐 大 家 采用 3.0 或 更 高 级 的 版 本 。CentOS 6.4 x86_64 下 我 们 可 以 用 如 下 命令 来 查看 rsync 的 版 本 号 ， 如 下 所 示 : 


rsync --version 


命令 显示 结果 如 下 所 示 : 


rsync version 3.0.6 protocol version 30 
Copyright (C) 1996-2009 by Andrew Tridgell, Wayne Davison, and others. 
Web site: http://rsync.samba.org/ 


Capabilities: 


64-bit files, 64-bit inums, 64-bit timestamps, 64-bit long ints, 
socketpairs, hardlinks, symlinks, IPv6, batchfiles, inplace, 
append, ACLs, xattrs, iconv, symtimes 
rsync comes with ABSOLUTELY NO WARRANTY. This is free software, and you 
are welcome to redistribute it under certain conditions. See the GNU 


General Public Licence 


for details. 


关心 rsync 算 法 的 朋友 可 以 关注 下 面 的 文章 ， 如 下 所 示 : 


http://coolshell.cn/articles/7425.html 


http://en.wikipedia.org/wiki/Rolling_hash 


http://en.wikipedia.org/wiki/Adler-32 


http://wangyuanzju.blog.163.com/blog/static/130292010101252632998/ 


http://blog.csdn.net/liuben/article/details/5793706 


http://blog.csdn.net/liuben/article/details/5693974 


如 果 遇 到 网 页 打 不 开 的 情况 ， 推 荐 大 家 使 


B.1 rsync 的 应 用 模式 


笔者 建议 将 安装 及 提供 rsync 服 务 的 机 器 称 为 rsync 服 务 器 端 ， 没 有 提供 rsync 的 机 器 称 为 rsync 客 户 端 ， 这 样 可 以 更 好 地 理解 本 节 的 内 


模式 ， 如 下 所 示 : 


1) 本 地 Shell 模 式 ， 顾 名 思 义 ， 此 操作 主要 是 针对 本 地 机 器 的 ， 用 于 在 本 地 机 器 上 复制 目录 内 容 。 


2) 远程 Shell 模 式 


使 用 一 个 远程 Shell 程 序 来 实现 将 rsync 服 务 器 端的 内 容 拷贝 到 本 


3) 列表 模式 ， 可 以 通过 rsync 查 看 远程 机 器 的 目录 信息 。 


如 : rsync-v 192.168.1.204: /data/html/www/images/ 


4) 服务 器 模式 。 


这 个 在 工作 中 应 该 是 应 


得 最 多 的 ，rsync 服 务 器 开启 rsync 服 务 ， 用 于 接收 rsync 客 户 端 的 文件 传输 请 求 。 


那么 ， 究 竟 应 该 如 何在 CentOS 6.4 下 实现 rsync 服 务 呢 ?这 里 以 工作 机 器 举例 说 明 。 


具体 安装 步骤 如 下 : 


具体 的 安装 步骤 不 再 多 说 ， 这 里 只 介绍 重点 内 容 。 首 先 检查 rsync 是 否 安装 ， 命 令 如 下 : 


地 机 器 ,或 者 将 本 地 机 器 的 内 容 拷贝 到 rsync 服 务 器 端的 机 器 中 。 


shadowsocks 翻 墙 ， 下 载 地 址 为 : https://github.com/shadowsocks/shadowsocks-windows。 


容 。 这 里 笔者 按照 rsync 平 时 在 工作 中 的 应 用 ， 


前 


其 分 成 了 4 种 应 用 


首先 准备 一 台 系 统 为 CentOS 6.4 x86 64、IP 为 192.168.1.207 的 机 器 ， 将 其 作为 rsync 服 务 器 ， 另 外 准备 一 台 系统 为 CentOS 6.4 x86 64、IP 为 192.168.1.204 的 机 器 作为 rsync 客 户 端 。 


rpm -q rsync 


命令 显示 结果 如 下 : 


rsync-3.0.6-12.e16.x86_ 64 


如 果 没 有 安装 rsync， 大 家 可 以 使 用 如 下 命令 进行 安装 : 


yum -~y install rsync 


另外 ， 关 闭 防 火 墙 和 SELinux， 因 为 是 在 内 网 中 传输 ， 所 以 没 必要 打开 。 关 闭 它们 ， 免 得 引起 不 必要 的 麻烦 ， 命 令 如 下 : 


service iptables stop 
chkconfig iptables off 
setenforce 0 


下 面 分 享 一 下 我 自己 定义 的 配置 文件 /etc/rsyncd.conf (说 明 : 此 文件 并 不 是 系统 创建 的 ， 大 家 也 可 以 给 它 取 不 同 的 名 字 ) 。 先 给 出 ! 


uid = www 

gid = WwW 

user chroot = no 

max Connections = 200 
timeout = 600 


pid file = /var/run/rsyncd.pid 
lock file = /var/run/rsyncd.1ock 
1og file = /var/log/rsyncd.1log 


[www_rync] 


path=/data/html /www/images/ 


ignore errors 
read only = no 
list = no 


hosts allow = 192.168.21.0/255.255.255.0 


auth users = test 


secrets file = /etc/rsyncd.password 


下 面 说 明 一 下 /etc/rsyncd.conf 的 语法 。 


uid = www 


人 体 代码 ， 后 面 再 进行 详细 解释 ， 代 码 如 下 所 示 : 


上 面 指 的 是 运行 rsync 的 用 户 为 www。 


gid = Www 


表示 运行 rsync 的 组 为 www。 


因为 我 们 的 线 上 系统 运行 Nginx 也 是 用 的 www: www 用 户 ， 这 里 为 了 保证 rsync 以 后 文件 及 文件 夹 的 权限 一 致 ， 所 以 这 里 也 选用 了 www: www 用 户 。 


use chroot = no 


如 果 “use chroot” 指 定 为 true， 那 么 rsync 在 传输 文件 以 前 首先 chroot 到 path 参 数 所 指定 的 目录 下 。 这 样 做 可 实现 额外 的 安全 防护 功能 ， 但 缺点 是 需要 给 用 户 以 root 的 权限 ， 并 且 不 能 备份 通过 外 部 
的 符号 连接 所 指向 的 目录 文件 。 在 默认 情况 下 ，chroot 的 值 为 true。 但 是 这 一 般 是 没有 必要 的 ， 笔 者 选择 no 或 false。 


list = no 


表示 不 允许 列 清单 。 


max connections = 200 


表示 最 大 连接 数 。 


timeout = 600 


表示 覆盖 客户 指定 的 I|P 超 时 时 间 ， 也 就 是 说 rsync 服 务 器 不 会 永远 等 待 一 个 崩溃 的 客户 端 。 


Pidfile = /var/run/rsyncd.pid 


指 的 是 pid 文 件 的 存放 位 置 。 


lock file = /var/run/rsync.lock 


指 的 是 锁 文 件 的 存放 位 置 。 


log file = /var/log/rsyncd.log 


指 的 是 日 志文 件 的 存放 位 置 。 


[www_rync] 


这 是 认证 模块 名 ， 即 跟 samba 软 件 的 语法 是 一 样 ， 是 对 外 公布 的 名 字 。 


path = /data/html /www/images 


这 是 参与 同步 的 目录 。 


ignore errors 


表示 可 以 忽略 一 些 无 关 的 MO 错误 。 


read only = no 


表示 人 允许 读 和 写 。 


list = no 


表示 不 允许 列 清单 。 


hosts allow = 192.168.1.0/255.255.255.0 


这 里 跟 samba 的 语法 是 一 样 的 ， 只 允许 192.168.1.0/24 网 段 的 机 器 进行 同步 ， 拒 绝 其 他 一 切 网 段 连接 。 


auth users = www 


指 的 是 认证 的 用 户 名 ， 这 里 为 了 权限 的 一 致 性 ， 建 议 也 选择 www。 


secrets file = /etc/rsyncd.password 


指 的 是 密码 文件 的 存放 地 址 。 


启动 服务 器 端的 rsync， 可 通过 xinetd 来 控制 ， 这 里 要 对 rsync 进 行 修改 ， 我 们 先 编辑 rsync 相 关 的 文件 /etc/xinetd.d/rsync， 如 下 所 示 : 


service rsync 


disable = yes 


socket type = stream 

wait = no 

user = LO0t 

server = /usr/bin/rsync 
server args = --daemon 


log on failure += USERID 
} 


将 disable=yes 改 为 disable=no， 然 后 重启 xinetd 即 可 ， 命 令 如 下 : 


/etc/ini.d/xinetd restart 


配置 中 应 该 注意 的 问题 如 下 所 示 。 
“ [www_rsync]: 认证 模块 名 ， 这 个 认证 模块 名 是 服务 器 对 外 的 名 字 ， 机 器 同步 时 只 会 认 这 个 名 字 。 


“ path=/data/html/www/images/: 参与 同步 的 目录 的 权限 。 如 果 此 目录 的 权限 不 够 ，rsync 同 步 是 成 功 不 了 的 。 这 里 建议 用 如 下 命令 进行 检查 。 


1s -1d /data/html/www/images/ 


确保 www: www 用 户 对 此 目录 有 读 、 写 和 执行 权限 ， 命 令 如 下 所 示 : 


Chonw —R www:www /data/html/www/images/ 


“ 注意 用 户 名 和 密码 的 问题 。 


echo "www:www" >/etc/rsyncd.password 


说 明 : 这 里 我 设置 的 是 用 户 名 和 密码 一 致 。 为 了 安全 起 见 ， 设 置 他 的 权限 为 600， 如 下 所 示 : 


chmod 600 /etc/rsyncd.password 


rsync 客 户 端 配置 : 


echo "www" > /etc/rsyncd.password 


这 里 只 需要 密码 ， 不 需要 用 户 ， 免 得 要 同步 时 还 要 进行 手动 互动 ， 为 了 安全 ， 一 样 配 置 600 的 权限 ， 命 令 如 下 所 示 : 


chmod 600 /etc/rsyncd.password 


下 面 首先 来 说 说 在 工作 中 经 常 遇 到 的 rsync 问 题 。 


故障 一 : 服务 器 端的 目录 不 存在 或 无 权限 ， 故 障 描述 如 下 : 


QERROR: chroot failed 
rsync error: error starting client-server protocol (code 5) at main.c(1522) [receiver=3.0.3] 


解决 方法 : 创建 目录 或 修改 目录 权限 。 


故障 二 : 服务 器 端 该 模块 tee) 需要 验证 用 户 名 和 密码 ， 但 客户 端 没有 提供 正确 的 用 户 名 和 密码 ， 认 证 失败 ， 故 障 描述 如 下 : 


QERROR: auth failed on module tee 
rsync error: error starting client-server Protocol (code 5) at main.c(1522) [receiver=3.0.3] 


解决 方法 : 提供 正解 的 用 户 名 和 密码。 


故障 三 : 服务 器 上 不 存在 指定 的 模块 ， 故 障 描述 如 下 : 


QERROR: Unknown module 'tee nonexists' 
rsync error: error starting client-server protocol (code 5) at main.c(1522) [receiver=3.0.3] 


解决 方法 : 提供 正确 的 模块 名 。 
接着 我 们 可 以 进行 测试 工作 了 。 


在 rsync 客 户 端 的 机 器 上 执行 如 下 命令 : 


rsync -vzrtopg --delete /data/html/www/images/ 
www@192.168.1.207: :www_sync --password-file=/etc/rsyncd.password 


这 时 候 就 可 以 看 到 正确 的 同步 效果 了 ， 结 果 如 下 所 示 : 


sending incremental file list 

deleting key/xen-cms-private 

deleting key/xen-cms 

deleting key/id rsa yhc.pub 

deleting key/ 

deleting 201601211010099/upload/1/201601/index.html 

deleting 201601211010099/upload/1/201601/Thumbs .db 

deleting 201601211010099/upload/1/201601/11163217052267j3.doc 
deleting 201601211010099/upload/1/201601/11115238075060e0.png 
deleting 201601211010099/upload/1/201601/0503525603970cbn .docx 
deleting 201601211010099/upload/1/201601/0503412101818iro.docx 
deleting 201601211010099/upload/1/201601/ 

deleting 201601211010099/upload/1/201512/index.html 

deleting 201601211010099/upload/1/201512/ 

deleting 201601211010099/upload/1/ 

deleting 201601211010099/upload/ 

deleting 201601211010099/notify/ 

deleting 201601211010099/ 

sent 108 bytes received 9 bytes 21.27 bytes/sec 

total size is 0 speedup is 0.00 


外 注意 


在 rsync 客 户 端 机 器 上 ，/data/html/wwwyVimages/ 和 /data/html/wwwyVimages 进 行 rsync 传 输 的 效果 截然 不 同 。 如 果 是 /data/html/wwwyVimages， 则 会 将 images 目 录 复 制 到 rsync 服 务 器 端 
的 /data/html//www/images/ 目 录 下 ; 如 果 是 /data/html/www/images/， 则 不 传输 目录 本 身 ， 只 传输 目录 中 的 文件 内 容 。 请 大 家 在 工作 中 注意 这 点 。 


下 面 再 说 说 工作 中 经 常用 到 的 rsync 参 数 ， 如 下 所 示 。 


“ -Vv--verbose: 详细 模式 输出 。 

' -f--recursive: 对 子 目录 以 递归 模式 处 理 。 
“ -p--perms: 保持 文件 权限 。 

“ -0--owner; 保持 文件 属 主 信息 。 
 -g--group; 保持 文件 属 组 信息 。 

“ -t--times: 保持 文件 时 间 信息 。 


“ -delete: 表示 客户 端 上 的 数据 要 与 服务 器 端 完全 一 致 ， 我 们 还 是 以 上 面 的 例子 来 说 明 ， 请 看 下 面 的 rsync 同 步 命令 : 


rsync -vzrtopg --delete /data/html/www/images/ 
www@192.168.1.207: :www_sync --password-file=/etc/rsyncd.password 


我 们 在 这 里 引入 了 --delete 参 数 ， 则 会 使 得 rsync 客 户 端 机 器 的 /data/html/www/images 目 录 跟 rsync 服 务 器 端的 /data/html/www/images 目 录 保 持 完 全 一 致 ， 如 果 客 户 端 机 器 上 存在 着 rsync 服 务 器 
端 不 存在 的 文件 或 目录 ， 则 会 删除 。 


“ --delete-excluded: 删除 接收 端 那些 被 该 选项 指定 排除 的 文件 。 

“ -2--compress: 对 备份 的 文件 在 传输 时 进行 压缩 处 理 。 

“ --exclude= 文 件 或 文件 夹 名 : 指定 不 需要 传输 的 文件 或 文件 夹 名 。 
“ --include= 文 件 或 文件 夹 名 : 指定 需要 传输 的 文件 或 文件 夹 名 。 

“ -exclude-from=FILE: 排除 FILE 中 指定 模式 的 文件 。 

: --include-from=FILE: 不 排除 FILE 中 指定 模式 匹配 的 文件 。 


另外 ， 我 们 在 工作 中 经 常 遇 到 的 一 个 问题 是 ， 经 常 需要 快速 删除 海量 文件 ， 这 个 应 该 如 何 来 实现 呢 ? 


有 时 候 需要 快速 清空 包含 几 百 万 个 小 文件 的 文件 夹 ， 我 们 一 般 会 采用 rm-rf* 的 方式 来 处 理 ， 但 现在 的 服务 器 一 般 都 是 机 械 硬盘 ， 这 样 不 仅 速 度 慢 ， 而 且 磁 盘 /O 的 压力 也 非常 大 ， 机 器 负载 很 容易 就 上 去 
了 ， 其 实 这 个 时 候 我 们 可 以 用 rsync 来 快速 清理 。 


比如 说 我 们 要 清理 //data/html/www/mall/Runtime 目 录 里 的 文件 ， 应 该 如 何 操作 呢 ? 步 又 比较 简单 ， 如 下 所 示 : 


1) 建立 一 个 空 的 文件 来， 命令 如 下 所 示 : 


mkdir /tmp/test 


2) 用 rsync 删 除 /data/www/html/mall/Runtime 目 录 ， 命令 如 下 所 示 : 


rsync --delete-before -a -V --progress --stats /tmp/test/ /data/html/www/mall/Runtime 


这 样 我 们 要 删除 的 /data/www/html/mall/Runtime 目 录 就 会 被 清空 了 ， 删 除 的 速度 也 会 非常 快 。 


选项 说 明 分 别 如 下 。 

-delete-before: 接收 者 在 传输 之 前 进行 删除 操作 。 

-progress; 在 传输 时 显示 传输 过 程 。 

. -a: 归档 模式 ， 表 示 以 递归 的 方式 传输 文件 ， 并 保持 所 有 文件 的 属性 。 
.-v: 详细 输出 模式 。 


“ -stats: 给 出 某 些 文件 的 传输 状态 。 


B.2 rsync+inotify 实 现 数据 的 实时 同步 更 新 


1.rsync 的 优点 与 不 足 


rsync 在 Linux 下 是 一 个 比较 重要 和 实用 的 服务 ， 从 前 面 的 内 容 大 家 应 该 已 经 了 解 rsync 具 有 安全 性 高 、 备 份 迅速 、 支 持 增 量 备份 等 的 优点 ， 通 过 rsync 可 以 解决 对 实时 性 要 求 不 高 的 数据 备份 需求 ， 例 如 
定期 地 备份 文件 服务 器 数据 到 远程 服务 器 ， 对 本 地 磁盘 定期 做 数据 镜像 等 。 


随 着 应 用 系统 规模 的 不 断 扩大 ， 对 数据 的 安全 性 和 可 靠 性 也 提出 了 更 高 的 要 求 ，rsync 在 高 端 业务 系统 中 也 逐渐 暴露 出 了 很 多 的 不 足 之 处 ， 首 先 ，rsync 同 步 数据 时 ， 需 要 扫描 所 有 文件 后 进行 比 对 ， 然 
后 进行 差 量 传输 。 如 果 文件 数量 达到 了 百 万 甚至 干 万 量 级 ， 那 么 扫描 所 有 文件 将 是 非常 耗 时 的 。 而 且 正 在 发 生变 化 的 往往 只 是 其 中 很 少 的 一 部 分 ， 这 是 非常 低 效 的 方式 。 其 次 ，rsync 不 能 实时 地 去 监测 、 同 
步 数 据 ， 虽 然 它 可 以 通过 Linux 守 护 进 程 的 方式 触发 同步 ， 但 是 两 次 触发 动作 一 定 会 有 时 间 差 ， 这 样 就 导致 了 服务 端 和 客户 端 数 据 可 能 出 现 不 一 致 的 情况 ， 无 法 在 应 用 故障 时 完全 恢复 数据 。 基 于 以 上 原因 ， 
考虑 采用 rsync+inotify， 就 可 以 解决 这 些 问题 了 。 


2. 初 识 inotify 


inotify 是 一 种 强大 的 、 细 粒度 的 、 异 步 的 文件 系统 事件 监控 机 制 ，Linux 内 核 从 2.6.13 起 ， 加 入 了 对 inotify 的 支持 ， 通 过 inotify 可 以 监控 文件 系统 中 的 添加 、 删 除 、 修 改 、 移 动 等 各 种 细微 事件 ， 利 
监控 文件 系统 下 文件 的 各 种 变化 情况 了 ， 而 inotify-tools 就 是 这 样 一 个 第 三 方 软件 。 


个 内 核 接 口 ， 第 三 方 软件 就 可 以 


在 上 面 的 章节 中 我 们 讲 到 ， 


rsync 可 以 实现 触发 式 的 文件 同步 ， 但 是 通过 Crontab 守 护 进 程 的 方式 触发 ， 同 步 的 数据 和 实际 数据 会 有 差异 ， 而 inotify 可 以 监控 文件 系统 的 各 种 变化 ， 当 文件 有 任何 变动 


时 ， 就 触发 rsync 同 步 ， 这 就 刚好 解决 了 同步 数据 的 实时 性 问题 。 


3. 安 装 inotify 工 具 inotify-tools 


由 于 inotify 的 特性 需要 Linux 内 核 的 支持 ， 在 安装 inotify-tools 前 先 要 确认 Linux 系 统 内核 是 否 达到 了 2.6.13 以 上 ， 如 果 Linux 内 核 低 于 2.6.13 版 本 ， 就 需要 重新 编译 内 核 加 入 对 inotify 的 支持 ， 我 们 的 
CentOS 6.4 系 统 不 需要 担心 此 问题 。 


疯 


uname -r 


命令 显示 结果 如 下 所 示 : 


2.6.32-573.12.1.e16.x86_64 


然后 我 们 通过 ls 来 查看 是 否 存在 /proc/sys/fs/inotify 目 录 ， 如 下 所 示 : 


1s -lsart /proc/sys/fs/inotify/ 


此 命令 显示 结果 如 下 所 示 : 


total 0 
Gr-xr-xr-x 0 root root 
Gr-xr-xr-x 0 root root 
root root 
-rw-r--r-- 1 root root 
-rw-r--r-- 1 root root 
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者 林 


通过 以 上 显示 结果 我 们 应 该 清楚 ，CentOS 6.4 x86_64 是 支持 inotify 的 。 


4.inotify 可 以 监控 的 文件 系统 事件 


inotify 是 文件 系统 事件 监控 机 制 ， 是 dnotify 的 有 效 替 代 品 (dnotify 是 较 早 的 内 核 支持 的 文件 监控 机 制 ) 。inotify 是 一 种 强大 的 、 细 粒度 的 、 异 步 的 机 制 ， 它 满足 各 种 各 样 的 文件 监控 需要 ， 而 不 仅仅 


限于 安全 和 性 能 。 


inotify 可 以 监视 的 文件 系统 事件 包括 如 下 几 个 方面 。 


“ IN_ACCESS: 文件 被 访问 


“ IN_MODIFY: 文件 被 wtite。 


. IN_ATTRIB: 文件 属性 被 


修改 ， 如 chmod、chown、touch 等 。 


.IN_CLOSE_WRITE: 可 写 文件 被 close。 


.IN_CLOSE_NOWRITE: 不 可 写 文件 被 close。 


“ IN_OPEN: 文件 被 open。 
“ IN_MOVED_FROM: 文人 


"IN_MOVED_TO: 文件 被 


“IN_CREATE: 创建 新 文件 。 


被 移 走 ， 如 mv。 


移 来 ， 如 mv、cp。 


“IN_DELETE: 文件 被 删除 ， 如 rm。 


“ IN_DELETE_SELF: 自贡 
“IN_MOVE_SELF: 自 移动 
“ IN_UNMOUNT: 宿主 文人 
' IN_CLOSE: 文件 被 关闭 ， 


:IN_MOVE: 文件 被 移动 ， 
B 注 总 


上 面 所 说 的 文件 也 包括 目录 。 


除 ， 即 一 个 可 执行 文件 在 执行 时 删除 自己 。 


， 即 一 个 可 执行 文件 在 执行 时 移动 自己 。 


系统 被 unmount。 
等 同 于 (IN_CLOSE_WRITE|IN_CLOSE_NOWRITE) 。 


等 同 于 (IN_MOVED_FROMIIN_MOVED TO) 。 


5.rsync+inotify 企 业 应 用 案例 


笔者 之 前 的 公司 的 Web 应 用 服务 器 采用 的 是 集群 方案 ，6 台 Nginx 之 间 同 步 代码 的 方案 正 是 rsync+inotify， 这 里 以 3 台 机 器 来 说 明 下 ， 即 1 台 rsync 服 务 器 ，2 台 rsync 客 户 端 机 器 ， 此 环境 跟 上 面 的 环境 


别 较 大 ， 大 家 不 要 弄 混淆 了 ， 代 码 


3 如 下 所 示 : 


M4 


Web-Server :192.168.1.207 
Webl-Client:192.168.1.204 
Web2-Client:192.168.1.205 


ISync 客户 端 
rsync 服务 器 端 
rsync 服务 器 端 


大 家 注意 下 这 里 的 权限 分 配 ， 


不 要 和 弄 混淆 了 ，Web-Server 是 作为 内 容 发 布 的 机 器 ， 即 代码 改动 是 在 这 台 机 器 上 面 操 作 的 。 这 里 是 作为 rsync 客 户 端 ， 并 非 rsync 服 务 器 端 。 所 有 机 器 需要 同步 的 目录 均 


为 /data/htdocs/www/images， 自 动 同步 顺序 均 为 Web 客 户 端 机 器 向 Web-Server 端 机 器 同步 ， 我 们 这 里 将 Web1-Client 和 Web2-Client 配 置 成 rsync 的 服务 器 端 即 可 ， 即 Web-Server 仅 仅 只 作为 rsync 客 


户 端 。 


1) inotify-tools 是 用 来 监控 文件 系统 的 工具 ， 必 须 安装 在 Web-Server ( 即 rsync 客 户 端 ) 机 器 上 ， 用 来 监控 其 文件 系统 的 变化 ，Web-Client 机 器 不 需要 安装 。 


首先 开始 安装 inotify-tools， 我 们 的 机 器 由 于 提前 安装 了 epel 源 ， 这 里 只 需要 通过 yum 命 令 安装 即 可 ， 命 令 比较 简单 : 


yum -Y install inotify-tools 


2) Web1-Client 和 Web2-Client 机 器 的 rsync 服 务 配 置 比较 容易 ， 大 家 可 以 参考 上 面 的 内 容 ， 下 面 配置 好 /etc/rsyncd.conf 文 件 ， 命 令 如 下 所 示 : 


此 命令 显示 内 容 如 下 所 示 : 


uid = www 

gid = Www 

user chroot = no 

max Connections = 200 

timeout = 600 

pid file = /var/run/rsyncd.pid 
lock file = /var/run/rsyncd.1ock 
1og file = /var/log/rsyncd.1log 
[webl_sync] 

path=/data/html /www/images 
#web2 机 器 此 处 配置 为 [web2_sync] 

ignore errors 

read only = no 

list = no 

hosts allow = 192.168.1.0/255.255.255.0 
auth users = www 

secrets file = /etc/rsyncd.password 


然后 重启 xinetd 即 可 ， 命 令 如 下 所 示 : 


/etc/init.d/xinetd restart 


记得 两 全 Web 机 器 都 要 配置 /etc/rsyncd.passwd 文 件 ，rsync 的 配置 过 程 和 原理 请 大 家 参考 附录 前 面 的 内 容 ， 这 里 就 不 详细 说 明了 ， 注 意 /etc/rsyncd.password 的 文件 权限 和 内 容 。 


3) 配置 好 Web-Server 的 inotify 脚 本 以 后 ， 即 可 让 其 开机 启动 ， 脚 本 /root/rsync-inotify.sh 内 容 如 下 : 


#!/bin/bash 
src=/data/html /www/images/ 
des ipl=192.168.1.204 
des ip2=192.168.1.205 
/usr/local/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -~e modify,delete,create,attrib $src | while read file 
do 
rsync -vzrtopg --delete --progress $src www@$des ipl::webl sync --password-file=/etc/rsyncd.password 
rsync -vzrtopg --delete --progress $src www@$des ip2::web2 sync --password-file=/etc/rsyncd.password 
echo "File Synchronization is Complete!" 区 
done 


脚本 相关 解释 如 下 。 
* --timefmt: 指定 时 间 的 输出 格式 。 


* --format: 指定 变化 文件 的 详细 信息 。 


这 个 脚本 的 作用 就 是 通过 inotify 监 控 文件 目录 的 变化 ， 进 而 触发 rsync 进 行 同步 操作 ， 由 于 这 个 过 程 是 一 种 主动 触发 的 操作 ， 是 通过 系统 内 核 来 完成 的 ， 所 以 ， 比 起 那些 遍历 整个 目录 的 扫描 方式 来 ， 效 
率 要 高 很 多 。 然 后 我 们 将 此 脚本 放 在 /etc/rc.local 中 ， 即 在 最 后 一 行 添加 相关 内 容 ，/etc/rc.local 文 件 改动 后 的 内 容 如 下 所 示 : 


/root/rsync-inotify.sh & 


4) 验证 就 很 容易 了 ， 在 Web-Server 的 机 器 的 /data/html/www/images/ 目 录 下 新 建文 件 ， 更 改 文件 内 容 ， 可 以 很 欣慰 地 发 现 ， 两 台 Web-Client 的 机 器 对 应 的 目录 马上 也 会 发 生 相 应 的 改变 ， 感 觉 非 
常 快捷 方便 。 


总 体 说 来 ，rsync+inotify 比 较 适用 于 没有 存储 环境 的 小 文件 的 即时 同步 更 新 的 工作 场景 ， 适 合 中 小 型 规模 的 网 站 。 如 果 Web 集 群 超 过 10 台 的 话 ， 还 是 应 该 考虑 自动 化 配置 的 方式 。 


附录 C ”用 Supervisor 批 量 管理 进程 


Supervisor， 简 单 来 说 ， 就 是 一 个 Python 编写 的 进程 管理 器 。 虽 然 在 Shell 下 面 我 们 可 以 用 nohup 的 方式 将 程序 放 在 后 台 执 行 ， 一 个 或 几 个 还 比较 方便 ， 如 果 有 很 多 重要 的 进程 需要 管理 的 话 ， 就 不 方 
便 了 。 我 们 的 线 上 机 器 ， 一 般 都 有 大 量 重 要 的 Python 或 shell 程 序 在 后 台 运行 ， 大 家 可 以 试想 一 下 十 几 或 二 十 几 个 重要 的 Python 程序 在 后 台 里 运行 的 场景 ， 这 个 时 候 采 用 Supervisor 来 进行 批量 管理 就 非常 
方便 了 。 工 作 中 很 常见 的 一 个 问题 是 : 比如 很 不 幸 地 ， 服 务 器 出 现 崩溃 问题 或 人 为 重启 ， 导 致 所 有 应 用 程序 都 退出 了 ， 此 时 可 以 用 Supervisor 同 时 启动 所 有 程序 而 不 是 一 个 一 个 地 敲 命令 来 启动 。 


Supervisor 在 CentOS 6.4 x86_64 下 的 安装 


因为 笔者 的 机 器 提前 安装 了 epel 源 ， 所 以 安装 就 非常 方便 了 ， 命 令 如 下 所 示 : 


yum -~y install supervisor 


启动 Supervisor 的 命令 也 很 简单 ， 如 下 所 示 : 


supervisord -c /etc/supervisord.conf 


Supervisor 的 配置 文件 为 /etc/supervisord.conf， 比 较 简 单 ， 详 细 配 置 文 档 可 以 参考 其 官方 文档 。 这 里 不 再 进行 详细 说 明 ， 官 方 文档 地 址 如 下 所 示 : http://supervisord.org/configuration.html 


我 们 可 以 根据 需要 修改 里 面 的 配置 。 在 这 里 ， 每 个 不 同 的 项 目 ,使 用 了 一 个 单独 的 配置 的 文件 ， 放 置 在 /etc/supervisor/ 下 面 ， 于 是 修改 /etc/supervisord.conf， 加 上 如 下 内 容 : 


[include] 
files = /etc/supervisor/*.conf 


回 


这 样 的 好 处 就 是 如 果 有 很 多 进程 需要 管理 ， 可 以 进行 批量 管理 ,或 者 直接 在 /etc/supervisor.conf 文 件 里 添加 多 个 进程 管理 ， 这 也 是 可 以 的 。 下 | 
文件 内 容 如 下 所 示 : 


以 工作 中 的 机 器 来 举例 说 明 下 ，/etc/supervisord.conf 


我 们 用 cat 命 令 查看 supervisord.conf 文 件 ， 命 令 如 下 所 示 : 


cat /etc/supervisord.conf | grep -v "^;" 


命令 显示 结果 如 下 所 示 : 


[unix http server] 

file=/tmp/supervisor.sock 

?UNIX socket 文件 路 径 ， 这 里 采用 Socket 的 方式 管理 而 非 端 口 ， 前 者 较 之 后 者 更 为 安全 
[supervisord] 

logfile=/tmp/supervisord.1log ;Supervisord 日 志文 件 路 径 

logfile maxbytes=50MB ;Supervisord 日 志文 件 大 小 ， 超 出 会 rotate 


logfile backups=10 ;日 志文 件 保留 备份 数量 ， 默 认 值 为 10 
loglevel=info ;Supervisord 日 志 级 别 ， 这 里 为 info 
pidfile=/tmp/supervisord.pid ;Supervisord 的 pid 文 件 路 径 
nodaemon=false ?Supervisord 以 daemon 的 方式 运行 
minfds=1024 ;可 以 打开 的 文件 描述 符 的 最 小 值 ， 这 里 为 1024 
minprocs=200 ;可 以 打开 的 进程 数 的 最 小 值 ， 这 里 为 200 


[rpcinterface:supervisor] 
supervisor.rpcinterface factory = supervisor.rpcinterface:make main rpcinterface ;此 处 配置 成 默认 值 
[supervisorct1] 站 
serverurl=unix:///tmp/supervisor.sock 
;通过 Unix Socket 连 接 Supervisord 
[program: index] 
command=/usr/bin/python index.py ;程序 的 启动 命令 
directory=/home/yhc/ContentEngine/api ;程序 的 启动 目录 
autostart=true ;在 Supervisord 启 动 的 时 候 也 自动 启动 
autorestart=true ;程序 异常 退出 时 自动 重启 
user=yhc ; 程序 用 哪个 用 户 启 动 
redirect stderr=true ;把 stderr 重 定向 到 stdout， 即 重 定向 错误 日 志 
stdout logfile=/data/1log/service index.10g ;sdout 日 志 输 出 路 径 
[program:masterManager] 
command=/usr/bin/python masterManager.py 
directory=/home/yhc/ContentEngine 
autostart=true 
autorestart=true 
user=yhc 
redirect stderr=true 
stdout logfile=/data/log/service master.1og 


Supervisord 配 置 文件 至 少 需 要 一 个 [program: x] 部 分 的 配置 ， 来 告诉 Supervisord 需 要 管理 哪个 进程 。[program: xj 语 法 中 的 x 表示 进程 名 ,会 在 客户 端 (supervisorct| 界 | 
中 通过 这 个 值 来 对 程序 进行 start、restart、stop 等 操作 。 


回 


) 显示 ， 在 supervisorctl 


上 面 这 个 命令 会 进入 supervisorct| 的 Shell 界 面 ， 然 后 可 以 执行 不 同 的 命令 了 : 


“ status# 查 看 程序 状态 。 

. stop index# 关 闭 index 程 序 。 

“start index# 启 动 index 程 序 。 

' restart index# 重 启 index 程 序 。 

' teread# 读 取 有 更 新 (增加 ) 的 配置 文件 ， 不 会 启动 新 添加 的 程序 。 


“update# 重 启 配置 文件 修改 过 的 程序 。 
注意 


Supervisor 并 非 只 能 管理 Python 程 序 ， 同 样 可 以 管理 Shell 程 序 或 其 他 程序 。 


